CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程

@CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程

文章目录

• 1.虚拟机及软件准备
• 2.CentOS虚拟机配置相关（根据自己需要而定）
• 3.虚拟机网络设置
• 4.Windows的网络配置（win11）
• 5.CentOS系统网络配置
• 6.主机名配置
• 7.关闭防火墙设置
• 8.添加用户sudoer权限
• 9.软件管理
• 9.jdk环境配置
• 10.设置ssh相互免密登录
• 11.hadoop环境搭建准备
• 12.Hadoop完全分布式环境配置
• 13.Hadoop集群可视化界面

1.虚拟机及软件准备

VMware下载地址：

https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html

VMware激活参考：

http://www.usbmi.com/932.html

jdk下载地址：

https://www.oracle.com/java/technologies/downloads/#java8

hadoop下载地址，本文下载版本为2.7.2：

https://archive.apache.org/dist/hadoop/common/

2.CentOS虚拟机配置相关（根据自己需要而定）

hostname	内存	磁盘	ip
hadoop100	1G	20G	192.168.1.100
hadoop101	1G	20G	192.168.1.101
hadoop102	1G	20G	192.168.1.102

CentOS 7启动虚拟机之前需要确保虚拟机网络服务开启，确认方式：
打开任务管理器->点击“服务”->点击“打开服务”，找到VMware DHCP Service和VMware NAT Service并打开，许多电脑拥有防护软件导致VMware DHCP Service和VMware NAT Service两个服务自行开机启动失效。

3.虚拟机网络设置

开启虚拟机
1.选中虚拟机master
2.编辑-虚拟网络编辑器
4.更改设置
5.子网ip设置为192.168.1.0
6.选中NAT模式
7.点击NAT设置(网关改为192.168.1.2)
8.连点两次确定

4.Windows的网络配置（win11）

1.点击此电脑右键，属性
2.网络和Internet
3.高级网络设置
4.更多网络适配器选项
5.选中VMware Network Adapter VMnet8右键-属性
6.选中Internet协议版本 4(TCP/IPV4)-属性
7.编辑
使用下面的ip地址：
ip地址：192.168.1.1
子网掩码：255.255.255.0
默认网关：192.168.1.2需要和虚拟机一致
首选DNS服务器192.168.1.2
点击【确定】

5.CentOS系统网络配置

打开编辑centos网络配置文件：

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改为静态获取ip：

BOOTPROTO=”static”

添加IP地址：

IPADDR=192.168.1.100

添加网关：

GATEWAY=192.168.1.2

添加子网掩码：

NETMASK=255.255.255.0

添加域名解析器：

DNS1=192.168.1.2

三台机器上：
sudo vim /etc/hostname分别改成hadoop100、hadoop101、hadoop102
修改ip地址与主机名的映射
sudo vim /etc/hosts添加：

192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102

6.主机名配置

依次修改主机名为：hadoop100、hadoop101、hadoop102

hostname hadoop100

修改映射hosts文件：

vim /etc/hosts

添加内容：

192.168.1.100	hadoop100
192.168.1.101	hadoop101
192.168.1.102	hadoop102

7.关闭防火墙设置

查看开机时防火墙状态：

chkconfig	iptables --list

设置开机时关闭防火墙：

chkconfig	iptables off

8.添加用户sudoer权限

添加为用户sudoer权限
用户为hadoop
切换到root添加hadoop用户权限

sudo vim /etc/sudoers

在root权限下添加hadoop用户权限：

root ALL=(ALL:ALL) ALL
hadoop ALL=(ALL:ALL) ALL

9.软件管理

（1）/opt/software：放软件的压缩包
创建software文件夹：

mkdir /opt/software

（2）/opt/module：放解压后的软件
创建module文件夹：

mkdir /opt/module

9.jdk环境配置

解压jdk压缩包到module文件夹下：

tar -zxvf jdk-8u331-linux-x64.tar.gz -C /opt/module/

配置jdk环境变量：

vim /etc/profile

在最后一行添加：

JAVA_HOME=/opt/module/jdk1.8.0_331
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME

保存退出：esc wq

然后，使配置文件生效：

source /etc/profile

然后查看java版本号：

java -version

10.设置ssh相互免密登录

ssh可相互之间ssh通：

每个节点生成ssh密钥：

ssh-keygen -t rsa

一路回车
在~/.ssh下生成id_rsa id_rsa.pub

cd ~/.ssh/

在主节点上将公钥拷到一个特定文件authorized_keys中

cp id_rsa.pub authorized_keys

将authorized_keys文件拷到下一个节点，并将该节点的ssh密钥id_rsa.pub加入该文件中。

scp authorized_keys  hadoop@192.168.1.101:~/.ssh/

使用cat追加方式加入

cat id_rsa.pub >> authorized_keys 

最后一个节点的authorized_keys拷贝到前面1、2、3中
取消ssh每次都要询问yes/no

sudo vim /etc/ssh/ssh_config

中的
StrictHostKeyChecking ask 改成

StrictHostKeyChecking no 

11.hadoop环境搭建准备

解压hadoop压缩包到module文件夹下

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

环境变量配置

vim /etc/profile

添加

export HADOOP_HOME=/opt/module/hadoop2.7.2
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改文件属组权限

sudo chown hadoop:hadoop jdk1.8.0_331
sudo chown hadoop:hadoop hadoop-2.7.2

12.Hadoop完全分布式环境配置

仅仅在master上面做，之后传入slave节点即可
hadoop的jdk配置

vim /usr/hadoop-.2.7.2/etc/hadoop/hadoop-env.sh

在文件最后加入

export JAVA_HOME=/usr/jdk1.8.0_331

hadoop中slave配置文件

vim /usr/hadoop-2.7.2/etc/hadoop/slaves

修改文件内容为

localhost
master
slave1
slave2
slave3

hadoop配置文件都在/usr/hadoop-2.7.2/etc/hadoop/里

hadoop中core-site.xml配置文件

vim /usr/hadoop-2.7.2/etc/hadoop/core-site.xml

修改文件内容为

        
                fs.defaultFS
                hdfs://master:9000
        
        
                hadoop.tmp.dir
                /usr/hadoop-2.7.2/tmp
        
        
                fs.trash.interval
                1440
        

mkdir hdfs在hdfs下mkdir name、data

hadoop中hdfs-site.xml配置文件

sudo vim /usr/hadoop-2.7.2etc/hadoop/hdfs-site.xml

修改文件内容为

        
                dfs.namenode.secondary.http-address
                master:50090
        
        
                dfs.replication
                4
        
        
                dfs.namenode.name.dir
                /usr/hadoop-2.7.2/hdfs/name
        
        
                dfs.namenode.data.dir
                /usr/hadoop-2.7.2/hdfs/data
        

hadoop中mapred-site.xml配置文件
首先将template文件复制成xml文件

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template mapred-site.xml

sudo vim mapred-site.xml

修改文件内容

        
                mapreduce.framework.name
                yarn
        

hadoop中yarn-site.xml配置文件

sudo vim yarn-site.xml

        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        
        
                yarn.resourcemanager.hostname
                master
        

在主节点master上

hadoop namenode -format

把主节点的hadoop文件拷贝到子节点/usr下

sudo scp -r hadoop-2.7.2 root@slave1:/usr
#（更换slave2、slave3）

启动hadoop

进入hadoop目录下的sbin目录，执行
开启hadoop集群

./start-all.sh

关闭hadoop集群

./stop-all.sh

查看集群运行状况：
jps显示DataNode、NameNode进程

13.Hadoop集群可视化界面

可视化界面为：
master的ip地址:8088（如我是192.168.1.100:8088）
master的ip地址:50070（如我是192.168.1.100:50070）