Hadoop配置文件详解

Hadoop配置文件详解 概述 Hadoop默认配置文件

配置文件	描述	位置
core-default.xml	默认的核心hadoop属性文件	位于：Hadoop-common-2.10.1.jar
hdfs-default.xml	默认的HDFS属性配置文件	位于：hadoop-hdfs-2.10.1.jar
mapred-default.xml	默认mapreduce属性配置文件	位于：mapreduce-client-core-2.10.1.jar
yarn-default.xml	默认的YARN属性配置文件	位于：yarn-common-2.10.1.jar

Hadoop自定义配置文件

存放在$HADOOP_HOME/etc/hadoop这个路径里，用户可以根据项目需求重新进行修改配置

配置文件	功能描述
hadoop-env.sh	配置 Hadoop 运行所需的环境变量
core-site.xml	Hadoop 核心全局配置文件，可在其他配置文件中引用该文件
hdfs-site.xml	HDFS 配置文件，继承 core-site.xml 配置文件
mapred-site.xml	MapReduce 配置文件，继承 core-site.xml 配置文件
yarn-site.xml	YARN 配置文件，继承 core-site.xml 配置文件

当然还有slaves文件，记录集群的主机名。

hadoop-env.sh

文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的执行环境当成远程服务器。

# 修改前
# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}

# 修改后
# The java implementation to use.
export JAVA_HOME=/app/java/jdk1.8.0_181

core-site.xml

核心全局配置文件

<configuration>
    
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://node1:9000value>
    property>

    
    <property>
       <name>hadoop.tmp.dirname>
       <value>file:/app/hadoop-2.10.1/tmpvalue>
    property>

    
    <property>
       <name>io.file.buffer.sizename>
       <value>131072value>
    property>

    
    <property>
       <name>fs.trash.intervalname>
       <value>10080value>
    property>
configuration>

hdfs-sit.xml

Hadoop的底层存储配置文件，主要配置HDFS相关参数

<configuration>
    	
        <property>
                <name>dfs.namenode.name.dirname>
                <value>file:/app/hadoop-2.10.1/dfs/namevalue>
        property>
		
        <property>
                <name>dfs.datanode.data.dirname>
                <value>file:/app/hadoop-2.10.1/dfs/datavalue>
        property>
		
        <property>
                <name>dfs.replicationname>
                <value>3value>
        property>
    	
		<property>
			<name>dfs.blocksizename>
			<value>134217728value>
		property>
    	
        <property>
                <name>dfs.http.addressname>
                <value>node1:50070value>
        property>
    	
        <property>
                <name>dfs.namenode.secondary.http-addressname>
                <value>node2:50071value>
        property>
    	
		<property>
			<name>dfs.permissionsname>
			<value>falsevalue>
		property>
    	
		<property>
			<name>dfs.hostsname>
			<value>/app/hadoop-2.10.1/etc/hadoop/slavesvalue>
		property>
configuration>

mapred-site.xml

Hadoop默认只有个模板文件mapred-site.xml.template,需要使用该文件复制出来一份mapred-site.xml文件

yarn 的 web 地址 和 history 的 web 地址以及指定我们的 mapreduce 运行在 yarn 集群上

<configuration>
    	
        <property>
                <name>mapreduce.framework.namename>
                <value>yarnvalue>
        property>
		
		<property>
			<name>mapreduce.job.ubertask.enablename>
			<value>truevalue>
		property>
		
		<property>
			<name>mapreduce.jobhistory.addressname>
			<value>node1:10020value>
		property>
		
		<property>
			<name>mapreduce.jobhistory.webapp.addressname>
			<value>node1:19888value>
		property>
configuration>

yarn-site.xml

<configuration>


    
    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
    
    <property>
        <name>yarn.resourcemanager.hostnamename>
        <value>node1value>
    property>
    
	<property>
        <description>
          The http address of the RM web application.
          If only a host is provided as the value,
          the webapp will be served on a random port.
        description>
        <name>yarn.resourcemanager.webapp.addressname>
        <value>${yarn.resourcemanager.hostname}:8088value>
	property>
	<property>
        <description>
          The https address of the RM web application.
          If only a host is provided as the value,
          the webapp will be served on a random port.
        description>
        <name>yarn.resourcemanager.webapp.https.addressname>
        <value>${yarn.resourcemanager.hostname}:8090value>
	property>
    
	<property>
		<name>yarn.log-aggregation-enablename>
		<value>truevalue>
	property>
	
	<property>
		<name>yarn.log-aggregation.retain-secondsname>
		<value>604800value>
	property>
configuration>

slaves

slaves文件里面记录的是集群主机名。一般有以下两种作用：

1. 配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候slaves文件里面的主机标记的就是从节点角色所在的机器。

2. 配合hdfs-site.xml里面dfs.hosts属性形成一种白名单机制。

dfs.hosts指定一个文件，其中包含允许连接到NameNode的主机列表。必须指定文件的完整路径名,那么所有在slaves中的主机才可以加入的集群中。如果值为空，则允许所有主机。

cd /app/hadoop-2.10.1/etc/hadoop
vi slaves
# 删除slaves中的localhost，然后添加以下内容
node1
node2
node3