发布网友 发布时间:2022-04-19 16:11
共5个回答
懂视网 时间:2022-04-14 08:55
在Hadoop中,常用的TextInputFormat是以换行符作为Record分隔符的。 在实际应用中,我们经常会出现一条Record中包含多行的情况,例如: doc..../doc 此时,需要拓展TextInputFormat以完成这个功能。 先来看一下原始实现: public class TextInputFormat exte
在Hadoop中,常用的TextInputFormat是以换行符作为Record分隔符的。
在实际应用中,我们经常会出现一条Record中包含多行的情况,例如:
....
此时,需要拓展TextInputFormat以完成这个功能。
先来看一下原始实现:
public class TextInputFormat extends FileInputFormat{ @Override public RecordReader createRecordReader(InputSplit split, TaskAttemptContext context) { // By default,textinputformat.record.delimiter = ‘/n’(Set in configuration file) String delimiter = context.getConfiguration().get( "textinputformat.record.delimiter"); byte[] recordDelimiterBytes = null; if (null != delimiter) recordDelimiterBytes = delimiter.getBytes(); return new LineRecordReader(recordDelimiterBytes); } @Override protected boolean isSplitable(JobContext context, Path file) { CompressionCodec codec = new CompressionCodecFactory(context.getConfiguration()).getCodec(file); return codec == null; } }
根据上面的代码, 不难发现,换行符实际上是由”textinputformat.record.delimiter”这个配置决定的。
所以我们有种解决方案:
(1) 在Job中直接配置textinputformat.record.delimiter为”
”,这种方案是比较Hack的,很容易影响到其他代码的正常执行。
(2) 继承TextInputFormat,在return LineRecordReader时,使用自定义的分隔符。
本文采用第二种方案,代码如下:
public class DocInputFormat extends TextInputFormat { private static final String RECORD_DELIMITER = " "; @Override public RecordReadercreateRecordReader( InputSplit split, TaskAttemptContext tac) { byte[] recordDelimiterBytes = null; recordDelimiterBytes = RECORD_DELIMITER.getBytes(); return new LineRecordReader(recordDelimiterBytes); } @Override public boolean isSplitable(JobContext context, Path file) { CompressionCodec codec = new CompressionCodecFactory( context.getConfiguration()).getCodec(file); return codec == null; } }
需要指出的是,InputFormat只是把原始HDFS文件分割成String的记录,如果你的
?
原文地址:如何拓展Hadoop的InputFormat为其他分隔符, 感谢原作者分享。
热心网友 时间:2022-04-14 06:03
灰色的是隐藏分区?可以把G分区上的东西备份到其他分区,然后把G分区与H分区合并,再扩展。。。但H分区可能是逻辑坏道处理隔离的,不可用了。
热心网友 时间:2022-04-14 07:21
。。图一中白色区,块表示硬盘分区为NTFS文件系统格式,而斜杠灰色区块表示其为FAT32文件系统格式。处理也很简单,将H分区删除,再将G分区扩展H分区删掉后的区块。
热心网友 时间:2022-04-14 08:56
磁盘管理器的功能还是比较有*的。
你可以使用第三方软件来调整就可以了。
最好用U盘pe,进入pe下,打开分区助手,然后就可以调整合并分区了。追问具体是哪个软件?百度上找了下,这个好像是针对制作U盘的吧?
能否提供下载地址?谢谢了
热心网友 时间:2022-04-14 10:47
下载个这软件diskgenius 可以分区调整,注意资料数据保存追答弄不好咯私聊我