1、总结
之所以把总结放在文件开头,是为了让读者对这篇文章有更好的理解,(其实是因为我比较懒……)
对于整个HDFS文件系统的存储原理,我们可以总结为一句话,那就是:
分块+备份
2、存储结构和问题
(1)存储方式
对于一个比较大文件,我们可以将文件分为好几个部分,存储在不同的服务器节点上,每一个服务器节点,存储文件的一部分。
(2)造成的问题
在这种存储模式下,很容易造成文件大小不一的情况,有可能出现a文件大小为1KB,b文件大小为3MB,c文件直接达到5GB的情况,甚至达到TB乃至更高的单位。
(3)解决方法
对于这种问题,HDFS文件系统将文件大小设定统一的管理单位,划分为block块,一个block块的大小为256MB,如果1GB的文件存储到HDFS文件系统中,则需要划分出4个block块。
(4)隐藏问题
在这种将文件划分为block块的存储模式下,会出现一个“隐藏且致命”的问题,那就是如果存储的某个节点上的某一个block块被删除或者丢失,那应该如何处理?
此处将文件划分为9个block块,如果丢失一个block块就会导致文件出现错误,无法使用,如果对于一个特别大的文件,我们将这个文件划分为10000个block块,那么block块丢失的概率回大大增大,那么文件出现问题的概率也会随之增大。
3、解决方案
(1)简单描述
中国有句古话叫做,“不要把鸡蛋同时放在一个篮子里”,对于每个block文件,我们可以对其尽心备份处理,例如在node1节点里有个名为a的block块,我们可以对a进行备份,分别命名为a_copy1和a_copy2,分别存储在node2和node3节点中。
(2)图文描述
(3)具体实现
我们可以让每一个block块都有两个副本(默认),分别存储在不同的节点之上。