NameNode 内存默认 2000m ,如果服务器内存 4G , NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。
HADOOP_NAMENODE_OPTS=-Xmx3072mHadoop3.x 系列,配置 NameNode 内存
经验分享:
namenode最小值1G,每增加100万个block,增加1G内存。
datanode最小值4G,block或者副本数升高,都应该调大datanode的值。
一个datanode上的副本总数低于400万时调为4G,超过400万后,每增加100万,增加1G。
具体修改: hadoop-env.sh
export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m" export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m"
namenode大约在280行。
datanode大约在310行。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)