Hadoop 新增删除节点

1 新增Data节点

1.1 修改/etc/hosts，增加datanode的ip 

1.2 在新增加的节点启动服务

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

1.3 均衡block

start-balancer.sh

1）如果不balance，那么cluster会把新的数据都存放在新的node上，这样会降低mapred的工作效率 
2）设置平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长 

start-balancer.sh -threshold 5

 

2 删除节点

2.1 修改修改conf/hdfs-site.xml文件中的  “dfs.hosts.exclude“，确定要下架的机器，dfs.hosts.exclude定义的文件内容为,每个需要下线的机器，一行一个。这个将阻止他们去连接Namenode。如： 

slave-001  
slave-002

2.2 强制重新加载配置

hadoop dfsadmin  -refreshNodes

2.3 关闭节点

等待上面的操作结束后，需要下架的机器就能安全的关闭了

2.4 查看机群概况

hadoop dfsadmin -report

2.5 再次编辑conf/hdfs-site.xml文件，修改dfs.hosts.exclude，将下架的机器移除