MapReduce Input Split(输入分/切片)详解
public static long getMaxSplitSize(JobContext context) {
return context.getConfiguration().getLong(SPLIT_MAXSIZE,
Long.MAX_VALUE);
}
如果没有设置这maxsize默认是Long.MAX_VALUE
public static long getMinSplitSize(JobContext job) {
return job.getConfiguration().getLong(SPLIT_MINSIZE, 1L);
}
如果没有设置这minsize默认是1L
按照这样的理解,应该是将maxsize设置的小一些(小于blocksiz)那么这个切片就变小了
如果将minisize设置大一些(大于blocksize)那么这个切片就变大了,
设置的方法是
FileInputFormat.setMaxInputSplitSize(job, size);
FileInputFormat.setMinInputSplitSize(job, size);
切片数和文件在hdfs上的块数不是一个概念