hadoop2.7.5 安装配置

hadoop2.7.5 安装配置

登录mysql 执行

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

flush privileges;

安装hadoop

tar -zxvf hadoop-2.7.5.tar.gz -C /export/servers

配置环境变量，使hadoop命令全局可执行

vim /etc/profile

//在最后添加

#hadoop_home
 export HADOOP_HOME=/export/servers/hadoop-2.7.5
 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新

source /etc/profile

配置hadoop配置文件,这六个都要配置

6、修改hadoop配置文件 

​hadoop-env.sh
core-site.xml
hdfs-site.xml
slaves
mapred-siteml.template
yarn-site.xml.x

进入配置文件所在目录

/export/servers/hadoop-2.7.5/etc/hadoop

第一个：

vim打开 hadoop-env.sh

将jdk路径修改上去

export JAVA_HOME=/export/servers/jdk1.8.0_141

---

第二个：

vim打开 vim core-site.xml

在最后面configuration括号里添加

        
fs.defaultFS        
hdfs://hd1:9000    

 
hadoop.tmp.dir       
/export/servers/hadoop-2.7.5/hadoopdata 

注意：需要在hadoop的安装目录下创建一个hadoopdata文件文件夹用来存放数据，还有主机号要修改

---

第三个：

vim 打开 hdfs-site.xml

和第二步一样，在 configuration 内添加

dfs.replication
2


dfs.namenode.secondary.http-address
hd1:50090

这个文件是配置备份文件数量，2代表备份数量，hd1代表备份在hd1主机下

---

第四个：

这个文件存放集群有哪些主机

vim 打开 slaves

删除第一行，添加

hd1
hd2
hd3

---

第五个：

需要先将 mapred-siteml.template 这个文件修改成 mapred-siteml 将后缀名去掉

cp mapred-site.xml.template mapred-site.xml

直接在括号里添加

mapreduce.framework.name
yarn

---

第六个：

vim 打开 yarn-site.xml 也是在 configuration 内添加

只有主机名要修改hd1

yarn.resourcemanager.hostname
hd1


yarn.nodemanager.aux-services
mapreduce_shuffle

---

分发文件

配置完成，将配置文件传给其他两个主机

scp -r /export/servers/hadoop-2.7.5/ root@hd2:/export/servers/

scp -r /export/servers/hadoop-2.7.5/ root@hd3:/export/servers/

环境变量也要分发

scp -r /etc/profile root@hd2:/etc
scp -r /etc/profile root@hd3:/etc

在hd2 和 hd3 内也要刷新配置文件使生效

source /etc/profile

---

初始化工作

执行

hadoop namenode -format

启动

start-all.sh 

验证是否安装成功

如果正常 hd1 6个进程，其他3个进程

jps 

CID-7372120b-a3ed-4206-93e7-c4e02018c0fd