题1、HDFS存储机制
(1)客户端向namenode请求上传文件 ,namenode检查目标文件是否已存在 ,父目录是否存在。
(2)namenode返回是否可以上传。
(3)客户端请求第一个 block上传到哪几个datanode服务器上。
(4)namenode返回3个datanode节点 ,分别为dn1、dn2、dn3。
(5)客户端请求dn1上传数据 ,dn1收到请求会继续调用dn2 ,然后dn2调用dn3 ,将这个通信管道建立完成。
(6)dn1、dn2、dn3逐级应答客户端
(7)客户端开始往dn1上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet为单位 ,dn1 收到一个packet就会传
给dn2 ,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答。
(8)当一个block传输完成之后 ,客户端再次请求namenode上传第二个block的服务器。(重复执行3-7步)
题2、SecondaryNameNode 工作机制
第一阶段 :namenode启动
(1)第一次启动namenode格式化后 ,创建fsimage和edits文件。如果不是第一次启动 ,直接加载编辑日志和镜像文件到内存。
(2)客户端对元数据进行增删改的请求。
(3)namenode记录操作日志 ,更新滚动日志。
(4)namenode在内存中对数据进行增删改查。
第二阶段 :Secondary NameNode工作
(1)Secondary NameNode询问namenode是否需要checkpoint。直接带回namenode是否检查结果。
(2)Secondary NameNode请求执行checkpoint。
(3)namenode滚动正在写的edits日志 。
(4)将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
(5)Secondary NameNode加载编辑日志和镜像文件到内存 ,并合并。
(6)生成新的镜像文件fsimage.chkpoint。
(7)拷贝fsimage.chkpoint到namenode。
(8)namenode将fsimage.chkpoint重新命名成fsimage。
题3、NameNode与SecondaryNameNode区别与联系
一、区别:
(1)NameNode负责管理整个文件系统的元数据 ,以及每一个路径(文件)所对应的数据块信息。
(2)SecondaryNameNode主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。
二、联系:
(1)SecondaryNameNode中保存了一份和namenode一致的镜像文件(fsimage)和编辑日志(edits)。
(2)在主namenode发生故障时(假设没有及时备份数据),可以从SecondaryNameNode恢复数据。
题4、服役新数据节点和退役旧节点步骤
一、节点上线操作:
(1)当要新上线数据节点的时候 ,需要把数据节点的名字追加在 dfs.hosts 文件中,关闭新增节点的防火墙
(2)在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname
(3)在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname
(4)在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作
(5)在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 hostname
(6)在其他节点上执行刷新操作 :hdfs dfsadmin -refreshNodes
(7)在 NameNode 节点上,更改 slaves 文件,将要上线的数据节点 hostname 追加到 slaves 文件中
(8)启动 DataNode 节点
(9)查看 NameNode 的监控页面看是否有新增加的节点
二、节点下线操作:
(1)修改/conf/hdfs-site.xml 文件
(2)确定需要下线的机器 ,dfs.osts.exclude 文件中配置好需要下架的机器 ,这个是阻止下架的机器去连接 NameNode。
(3)配置完成之后进行配置的刷新操作./bin/hadoop dfsadmin -refreshNodes,这个操作的作用是在后台进行 block 块的移动。
(4)当执行三的命令完成之后,需要下架的机器就可以关闭了,可以查看现在集群上连接的节点,正在 执行 Decommission,
会显示:Decommission Status : Decommission in progress 执行完毕后 ,会显示:Decommission Status : Decommissioned
(5)机器下线完毕 ,将他们从excludes 文件中移除。