1、在HDFS里面，文件存储为什么要以Block块的方式存储？

目的：减少磁盘寻道的时间。

 

(1)、不设置block：因为数据是分散的存放磁盘上的，读取数据时需要不停的进行磁盘寻道，开销比较大。

(2)、使用block: 一次可以读取一个block中的数据，减少磁盘寻道的次数和时间。

 

其他：block在磁盘上非连续存储的，读取数据时需要磁盘寻道。

2、为什么HDFS中块(block)不能设置太大，也不能设置太小？

(1)、block设置过大：从磁盘传输数据的时间明显大于寻址时间，导致处理该块数据时比较慢。

(2)、block设置过小：NameNode需要大量内存来存储元数据，不可取。

3、HDFS寻址时间

HDFS中找到目标文件块(block)所需要的时间。

4、DataNode上的块大小默认是128MB,为什么128MB是最优选择？

目的：减少HDFS寻址开销。

 

HDFS的平均寻址时间大概是10ms，寻址时间为传输时间的1%时，为最佳状态，所以最佳传输时间是10ms/0.01=1000ms=1s。

 

目前磁盘的传输速率普遍为100MB/s；

计算出最佳block大小：100MB/s x 1s = 100MB,

所以我们设定block大小为128MB。

 

如果磁盘传输速率很大，例如2000M/s时，block可以设置为 2000M/s * 1s = 2000M