Hadoop集群搭建--详细版本

Hadoop集群搭建--详细版本

Hadoop集群搭建完整版

• 一、 准备好文件压缩包
• • 二、 创建三台虚拟机
  • 三、 解压软件
  • 四、 配置免密
  • 五、 配置Hadoop
  • 六、 关闭防火墙
  • 七、 打开网页
• 问题：

一、 准备好文件压缩包

1、 jdk
2、 Hadoop
3、 虚拟机（VM）

二、 创建三台虚拟机

Hadoop01
Hadoop02
Hadoop03

1. Hostname
   Vi /etc/hostname
   把localhost改为hadoop01（每台都要改）
   

2. hosts
   Vi /etc/hosts
   在这里面添加三台机子的ip：
   格式：IP Hadoop01
   

3. ifcfg-ens33
   进入vi /etc/sysconfig/network-scripts/ifcfg-ens33
   配置网卡：
   
   
   修改BOOTPROTO=static
   添加IP、子网掩码、网关、dns1地址解析、dns2地址解析

4. ifconfig -a 或者ip addr
   查看ip是否有

5. 重启网卡

systemctl restart network

三、 解压软件

1、 连接外部连接器

MobaXterm_Portable_v21.4
下载地址：http://kk04.cn/f-6306.html

2、 新建一个文件夹
（1） mkdir data和mkdir app
（2） 把文件传到data文件夹里面
（3） 在解压

Tar -zxvf Hadoop -C /root/app
					Tar -zxvf jdk -C /root/app

3、 配置环境变量
（1）进入hadoop和jdk文件夹里面，pwd记住它的路径
（2）在进入/etc/profile里面添加两个的地址
添加如下内容：

					export JAVA_HOME=/usr/java/jdk1.8.0_131/（这里是jdk路径）
					export JRE_HOME=${JAVA_HOME}/jre （下面的是固定的）
					export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
					export PATH=${JAVA_HOME}/bin:$PATH
					export HADOOP_HOME=/opt/hadoop/hadoop-2.9.2 （这里是hadoop路径）
					export PATH=$PATH:$HADOOP_HOME/bin	（下面的是固定的）
					export PATH=$PATH:$HADOOP_HOME/sbin

（4） 刷新一下这个路径

source /etc/profile

（5） 输入命令hadoop和java查看是否配置好
像如下就是配置完成！

四、 配置免密

Linux免密登录：
1、
ssh-keygen -t rsa
2、
cd .ssh
3、
cat id_rsa.pub >> authorized_keys
4、
chmod 600 authorized_keys （这个可以不要输入）

这个文档是配置免密登录的，是为了后面启动集群不用输入密码，否者会把自己心态搞崩！
1、按照上面那个文档来。
2、在主节点上配置免密后，用scp命令复制过去。

scp -r .ssh/ root@192.168.65.162:/root/.ssh

4、 在用ssh IP（例如：ssh 192.168.65.162）.
如果进的了其中一台机子不用输入密码就是配置完成了！

五、 配置Hadoop

1、 进入hadoop路径

>cd app/Hadoop/etc/Hadoop

2、 修改配置文件
（1） 修改core-site.xml

 				
			        fs.defaultFS
			        hdfs://hadoop01:9000
			    
			    
			        hadoop.tmp.dir
			        /home/hadoop/data/hadoopdata/tmp
			    

（2） 修改hdfs-site.xml

				
			        dfs.namenode.name.dir
			        /home/hadoop/data/hadoopdata/name
			    
			
			    
			        dfs.datanode.data.dir
			        /home/hadoop/data/hadoopdata/data
			    
			
			    
			        dfs.replication
			        2
			    
			    
			        dfs.secondary.http.address
			        hadoop02:50090
			    
			
			    
			        dfs.webhdfs.enabled
			        true
			    

（3） 修改mapred-quenes.xml.template
先把mapred-quenes.xml.template复制一份命名为mapred-quenes.xml
在添加环境变量

 	
         mapreduce.framework.name
         yarn
    

（4） 修改yarn-site.xml

	
       yarn.resourcemanager.hostname
       hadoop03
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.resourcemanager.address
        hadoop03:18040
    
    
        yarn.resourcemanager.scheduler.address
        hadoop03:18030
    
    
        yarn.resourcemanager.resource-tracker.address
        hadoop03:18025
    
    
        yarn.resourcemanager.admin.address
        hadoop03:18141
    
    
        yarn.resourcemanager.webapp.address
        hadoop03:18088
   

（5） 添加slaves
添加每台机子的名字

（6） hadoop-env.sh
在hadoop-env.sh里面添加java环境变量

3、 格式化Hadoop
Hdfs/haddoop namenode -format
格式化hadoop后会在你的配置文件路径下生成一个文件
这是我的路径：/home/hadoop/data/hadoopdata
生成下列文件夹：

六、 关闭防火墙

systemctl stop firewalld.service

七、 打开网页

在网页上输入：ip:50070
这样的命令就可以查看是否集群配置完成！
下图说明hadoop配置完成：

这里台数为三才表示集群搭建完成了！
这里我只启动了主节点一台虚拟机，所以它这个只有一台：

也可也jps查看端口，有三个（datanode，namenode，nodemanager）：

问题：

在启动dfs时候，可能会有一个或者两个节点没有启动起来，这就要重新去查看hadoop的配置文件；如果配置文件没有问题，就把hadoop部署生成的那个文件夹删掉，在次格式化Hadoop，在来启动Hadoop集群！

如果实在不行可以查看这个文档：
https://blog.csdn.net/qq_55475330?spm=1001.2101.3001.5343