Hadoop集群HDFS各节点磁盘使用率不平衡,使用balancer做数据平衡

Hadoop集群HDFS各节点磁盘使用率不平衡,使用balancer做数据平衡,第1张

Hadoop集群HDFS各节点磁盘使用率不平衡,使用balancer做数据平衡

HDFS上各节点磁盘大小不一致,新增节点
数据平衡前,是非常不均衡的,某些节点已经接近90了
集群的数据平衡已经迫在眉睫,必须要搞一搞了。

1.设置传输速率

我这里是万兆网卡,就先设置100M了
在两台master上分别执行:

hdfs dfsadmin -fs hdfs://nn1:8020 -setBalancerBandwidth 100M
2.找一台空闲集器,开始平衡数据
#设置数据之间差值5%
nohup $Hadoop_home/bin/start-balancer.sh –threshold 5 >

#停止数据均衡
$Hadoop_home/bin/stop-balancer.sh

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/5706375.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存