HDFS上各节点磁盘大小不一致,新增节点
数据平衡前,是非常不均衡的,某些节点已经接近90了
集群的数据平衡已经迫在眉睫,必须要搞一搞了。
1.设置传输速率
我这里是万兆网卡,就先设置100M了
在两台master上分别执行:
hdfs dfsadmin -fs hdfs://nn1:8020 -setBalancerBandwidth 100M
2.找一台空闲集器,开始平衡数据
#设置数据之间差值5%
nohup $HADOOP_HOME/sbin/start-balancer.sh -threshold 5 >#停止数据均衡
$HADOOP_HOME/sbin/stop-balancer.sh
3.每天零点定时执行
crontab -e10 */24 * * * bash $HADOOP_HOME/sbin/start-balancer.sh -threshold 5# 上面为了方便写的 $HADOOP_HOME ,自己去设置时要使用具体的目录,要不然crontab会读不到环境变量的,导致失效。