Hadoop完全分布式集群搭建教程（三）

Hadoop完全分布式集群搭建教程（三） 一、配置Hadoop环境脚本文件中的JAVA_HOME参数

进入Had安装目录下的etc/hadoop目录

#进入Had安装目录下的etc/hadoop目录
cd /opt/hadoop-2.7.7/etc/hadoop

分别在hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中添加或修改如下参数：

hadoop-env.sh文件

vi hadoop-env.sh
#文件中添加
export JAVA_HOME="/opt/jdk1.8.0_161"

mapred-env.sh文件

vi mapred-env.sh
#文件中添加
export JAVA_HOME="/opt/jdk1.8.0_161"

mapred-env.sh文件

vi yarn-env.sh
#文件中添加
export JAVA_HOME="/opt/jdk1.8.0_161"

二、修改Hadoop配置文件

1、修改core-site.xml文件
vi core-site.xml

		
		fs.defaultFS
		hdfs://hadoop0:9000
	

	
		hadoop.tmp.dir
		/hadoop/hadoop-2.7.7/tmp
	

这里我们需要进入/opt/hadoop-2.7.7文件夹下创建一个tmp目录
cd /opt/hadoop-2.7.7
mkdir tmp
cd /opt/hadoop-2.7.7/etc/hadoop/

---

2、修改hdfs-site.xml文件
vi hdfs-site.xml

	
		dfs.replication
		2
	

	
		dfs.name.dir
		/hadoop/hadoop-2.7.7/dfs/name
	

	
		dfs.data.dir
		/hadoop/hadoop-2.7.7/dfs/data
	

	
		dfs.namenode.secondary.http-address
		hadoop2:50090
	

存放路径都需要自己去创建文件
如：/hadoop/hadoop-2.7.7/dfs/name
需要在hadoop-2.7.7下创建dfs文件在创建name文件

---

3、修改mapred-site.xml文件
vi mapred-site.xml

    
     mapreduce.framework.name
     yarn
    

4、修改yarn-site.xml文件
vi yarn-site.xml

     
        yarn.nodemanager.aux-services
        mapreduce_shuffle
     

     
        yarn.resourcemanager.hostname
        hadoop1
     

二、配置slaves文件

1、增加从节点地址（若配置了hosts，可直接使用主机名，亦可用IP地址）

#在hadoop目录下修改slaves
vim slaves

进入文件后添加以下主机名称

2、拷贝到其他节点

scp -r /opt/hadoop-2.7.1 root@hadoop2:/opt/
scp -r /opt/hadoop-2.7.1 root@hadoop3:/opt/
scp -r /opt/hadoop-2.7.1 root@hadoop3:/opt/

3、初始化和启动

1、格式化

#格式化
cd /opt/hadoop-2.7.7
[root@hadoop01 hadoop-2.7.7]# bin/hdfs namenode -format

hdfs namenode -format只能启动一次，不能重复启动，否则报错。

2、启动

[root@hadoop01 hadoop-2.7.7]# sbin/start-dfs.sh 
[root@hadoop01 hadoop-2.7.7]# sbin/start-yarn.sh

start-dfs.sh

start-yarn.sh
--------------------------------------------------------------------------

4、验证Hadoop启动成功

输入jps验证

主节点

[root@hadoop1 hadoop-2.7.7]# jps
14632 NodeManager
13851 NameNode
14747 Jps
14525 DataNode
14126 ResourceManager

从节点

[root@hadoop2 hadoop]# jps
5152 SecondaryNameNode
5085 DataNode
5245 NodeManager
5357 Jps
[root@hadoop3 opt]# jps
5080 DataNode
5178 NodeManager
5278 Jps
[root@hadoop4 opt]# jps
5090 NodeManager
5190 Jps
4991 DataNode

---

Hadoop完全分布式集群搭建教程（一）
Hadoop完全分布式集群搭建教程（二）
Hadoop完全分布式集群搭建教程（三）