hadoop分布式搭建与环境配置

hadoop分布式搭建与环境配置

文章目录

• 1、关闭防火墙 所有节点
• 2、设置免密钥（在master上 *** 作）
• 3、上传hadoop安装包
• 4、解压
• 5、配置环境变量
• 6、修改配置文件
• • 6.1、slaves ： 从节点列表（datanode）
  • 6.2、hadoop-env.sh ： Hadoop 环境配置文件
  • 6.3、core-site.xml ： hadoop核心配置文件
  • 6.6、mapred-site.xml： mapreduce配置文件
• 7、将hadoop安装文件同步到子节点
• 8、格式化namenode
• 9、启动hadoop
• 10、访问hdfs页面验证是否安装成功
• 11、安装失败
• • 11.1、再次重启

1、关闭防火墙 所有节点

centos为7.X版本的

systemctl status firewalld.service#查看防火墙的状态
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动

2、设置免密钥（在master上 *** 作）

在master中生成密钥文件

ssh-keygen -t rsa
一直回车

将密钥文件同步到所有节点

ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2

3、上传hadoop安装包

上传到msater的/usr/local/soft/（目录自己定）
安装包下载地址：https://hadoop.apache.org/releases.html

hadoop-2.7.6.tar.gz

4、解压

tar -xvf hadoop-2.7.6.tar.gz

5、配置环境变量

vim /etc/profile

增加hadoop环境变量，将bin和sbin都配置到PATh中

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

6、修改配置文件

hadoop 配置文件在/usr/local/soft/hadoop-2.7.6/etc/hadoop/

cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/

6.1、slaves ： 从节点列表（datanode）

vim slaves

node1
node2 

6.2、hadoop-env.sh ： Hadoop 环境配置文件

vim hadoop-env.sh
修改JAVA_HOME

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

6.3、core-site.xml ： hadoop核心配置文件

vim core-site.xml
#在configuration中间增加以下内容

fs.defaultFS
hdfs://master:9000


hadoop.tmp.dir
/usr/local/soft/hadoop-2.7.6/tmp


fs.trash.interval
1440

6.4、hdfs-site.xml ： hdfs配置文件

vim hdfs-site.xml

在configuration中间增加以下内容

dfs.replication
1



dfs.permissions
false

6.5、yarn-site.xml： yarn配置文件

vim yarn-site.xml

在configuration中间增加以下内容

yarn.resourcemanager.hostname
master



yarn.nodemanager.aux-services
mapreduce_shuffle



yarn.log-aggregation-enable
true



yarn.log-aggregation.retain-seconds
604800


  
yarn.nodemanager.resource.memory-mb  
20480  
  

  
yarn.scheduler.minimum-allocation-mb  
2048  
  

  
yarn.nodemanager.vmem-pmem-ratio  
2.1  
  

6.6、mapred-site.xml： mapreduce配置文件

重命名

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

在configuration中间增加以下内容

mapreduce.framework.name
yarn


  
mapreduce.jobhistory.address  
master:10020  
  

  
mapreduce.jobhistory.webapp.address  
master:19888  
 

7、将hadoop安装文件同步到子节点

scp -r /usr/local/soft/hadoop-2.7.6/ node1:/usr/local/soft/
scp -r /usr/local/soft/hadoop-2.7.6/ node2:/usr/local/soft/

8、格式化namenode

hdfs namenode -format

9、启动hadoop

start-all.sh

10、访问hdfs页面验证是否安装成功

http://master:50070

11、安装失败

stop-all.sh

11.1、再次重启

1、需要手动将每个节点的tmp目录删除: 所有节点都要删除

rm -rf /usr/local/soft/hadoop-2.7.6/tmp

2、然后执行将namenode格式化,在主节点执行命令:

hdfs namenode -format

3、启动hadoop

start-all.sh

4、两次格式化后版本冲突，需要在格式化之前删除

rm -rf logs/ tmp/