HDFS—核心参数(生产调优)

HDFS—核心参数(生产调优)

文章目录

• HDFS—核心参数(生产调优)
• • 1 NameNode 内存生产配置
  • • 1.1 NameNode 内存计算
    • 1.2 Hadoop2.x 系列，配置 NameNode 内存
    • 1.3 Hadoop3.x 系列，配置 NameNode 内存
    • • 1.3.1 相关描述及 *** 作
      • 1.3.2 配置hadoop-env.sh
  • 2 NameNode 心跳配置
  • • 2.1 hdfs-site.xml 配置
    • 2.2 企业经验
  • 3. 开启回收站配置
  • • 3.1 开启回收站功能参数说明
    • 3.2 启动回收站，core-site.xml配置
    • 3.3 查看回收站
    • 3.4 注意
    • 3.5 恢复回收站数据

HDFS—核心参数(生产调优) 1 NameNode 内存生产配置 1.1 NameNode 内存计算

每个文件块大概占用 150byte，一台服务器 128G 内存为例，能存储多少文件块呢？
128(G) * 1024(MB) * 1024(KB) * 1024(Byte) / 150Byte ≈ 9.1 亿

1.2 Hadoop2.x 系列，配置 NameNode 内存

NameNode 内存默认 2000m，如果服务器内存 4G，NameNode 内存可以配置 3g。在hadoop-env.sh 文件中配置如下

HADOOP_NAMENODE_OPTS=-Xmx3072m

1.3 Hadoop3.x 系列，配置 NameNode 内存 1.3.1 相关描述及 *** 作

1. hadoop-env.sh 中描述 Hadoop 的内存是动态分配的

# The maximum amount of heap to use (Java -Xmx). If no unit
# is provided, it will be converted to MB. Daemons will
# prefer any Xmx setting in their respective _OPT variable.
# There is no default; the JVM will autoscale based upon machine
# memory size.
# export HADOOP_HEAPSIZE_MAX=
# The minimum amount of heap to use (Java -Xms). If no unit
# is provided, it will be converted to MB. Daemons will
# prefer any Xms setting in their respective _OPT variable.
# There is no default; the JVM will autoscale based upon machine
# memory size.
# export HADOOP_HEAPSIZE_MIN=
HADOOP_NAMENODE_OPTS=-Xmx102400m

2. 查看 NameNode 占用内存，查看 DataNode 占用内存

jmap -heap PID

1.3.2 配置hadoop-env.sh

export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m

相关指标参考

2 NameNode 心跳配置

NameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发的元数据 *** 作。对于大集群或者有大量客户端的集群来说，通常需要增大该参数。默认值是 10。

2.1 hdfs-site.xml 配置

 dfs.namenode.handler.count
 21

2.2 企业经验

dfs.namenode.handler.count=20 × 푙표푔푒퐶푙푢푠푡푒푟 푆푖푧푒，比如集群规模（DataNode 台数）为 3 台时，此参数设置为 21。可通过简单的 python 代码计算该值，代码如下

[develop@hadoop101 hadoop]$ sudo yum install -y python
[develop@hadoop101 hadoop]$ python
Python 2.7.5 (default, Nov 16 2020, 22:23:17) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-44)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import math
>>> print int(20*math.log(3))
21
>>> quit();

3. 开启回收站配置

开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。

3.1 开启回收站功能参数说明

1. 默认值 fs.trash.interval = 0，0 表示禁用回收站；其他值表示设置文件的存活时间。
2. 默认值 fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为 0，则该值设置和 fs.trash.interval 的参数值相等。
3. 要求 fs.trash.checkpoint.interval <= fs.trash.interval。

3.2 启动回收站，core-site.xml配置

 fs.trash.interval
 1

3.3 查看回收站

回收站目录在 HDFS 集群中的路径：/user/用户名/.Trash/….

3.4 注意

1. 通过网页上直接删除的文件也不会走回收站。
2. 通过程序删除的文件不会经过回收站，需要调用 moveToTrash()才进入回收站

Trash trash = New Trash(conf);
trash.moveToTrash(path);

3. 只有在命令行利用 hadoop fs -rm 命令删除的文件才会走回收站。

hadoop fs -rm -r /user/develop/input
...
Moved: 'hdfs://hadoop102:9820/user/develop/input' to trash at: 
hdfs://hadoop102:9820/user/atguigu/.Trash/Current/user/develop/input

3.5 恢复回收站数据

原理：将回收站得数据拷贝或者移动回原存储路径

[develop@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /user/atguigu/.Trash/Current/user/develop/input /user/develop/input