Hadoop完全分布式集群搭建教程（二）

Hadoop完全分布式集群搭建教程（二）

jdk8下载地址：
链接：https://pan.baidu.com/s/1_IjQ_U36HDe6ig4fVe3hUA
提取码：qwer
------------------------------------------------------------------------------------------
Hadoop2.7.7版本下载地址：
https://pan.baidu.com/s/1fwsX85p1Qi1rfdBvR3af3g
提取码：qwer

一、配置免密登录

1. 每个节点生成ssh密钥

   #每个节点生成ssh密钥
   ssh-keygen -t rsa
   

   输入后一直回车即可
   生成完成后，进入根目录下的ssh文件夹下

   cd ~/.ssh
   

2. 将主节点上公钥拷到一个特定的文件anthorized_keys中**

   cp id_rsa.pub authorized_keys
   

3. 将anthorized_keys文件拷贝到下一个节点，并将该节点的ssh密钥id_rsa.pub加入到文件夹中

   scp anthorized_key root@hadoop2://root/.ssh/
   #进入Hadoop2虚拟机
   cd ~/.ssh
   #在第二个节点上利用cat追加方式
   cat id_rsa.pub>>anthorized_key
   

   如下图所示：
   hadoop2：
   依次将进行 *** 作，到hadoop04后将authorized_keys文件复制给前三台文件
   hadoop4
   

4. 登录验证

#登录验证 ssh 主机名称
ssh hadoop1
#退出
exit

二、配置java与hadoop环境变量

1. 压缩包放置与解压

这里我把压缩包利用Xftp放置在opt文件夹下并解压

#进入opt文件夹下
cd  /opt
#解压文件
tar -zxvf jdk-8u101-linux-x64.tar.gz 
tar -zxvf hadoop-2.7.7.tar.gz

2. 配置环境变量

#修改profile文件
vi  /etc/profile
#在结尾处添加
# Java
export JAVA_HOME=/opt/jdk1.8.0_161    #该路径为java安装路径
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
#Hadoop
export HADOOP_HOME=/opt/hadoop-2.7.7# 该目录为解压安装目录
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop


#保存文件后刷新
[root@hadoop1 opt]source /etc/profile   #使配置文件生效

注意手打的话不要敲错，以免后面启动Hadoop时候报错

3. 检查安装状态

 java -version  #正常会显示版本号信息
 hadoop version  #正常会显示版本号信息

如果报错，请检查环境配置，并是否刷新profile文件

4. 将配置好的文件拷贝到其他从节点

#对hadoop2、3、4进行拷贝
#将配置好的java和hadoop文件夹拷贝到其他从节点
#java
scp -r /opt/jdk1.8.0_161 root@hadoop2:/opt/   
scp -r /opt/jdk1.8.0_161 root@hadoop2:/opt/   
scp -r /opt/jdk1.8.0_161 root@hadoop2:/opt/   

#hadoop
scp -r /opt/hadoop-2.7.7 root@hadoop2:/opt/  

---

#拷贝环境变量到Hadoop2、3、4中
scp -r /etc/profile root@hadoop2:/etc/profile
scp -r /etc/profile root@hadoop3:/etc/profile
scp -r /etc/profile root@hadoop4:/etc/profile

在其他节点分别刷新profile文件
[root@hadoop2 ~]source /etc/profile
[root@hadoop3 ~]source /etc/profile
[root@hadoop4 ~]source /etc/profile

Hadoop完全分布式集群搭建教程（一）
Hadoop完全分布式集群搭建教程（二）
Hadoop完全分布式集群搭建教程（三）