hadoop集群搭建

hadoop集群搭建 1、集群规划

首先，对于大数据集群提前进行主机名、IP地址、主次服务的规划：
    node01 ：192.168.38.90 NN DN
    node02 ：192.168.38.91 DN
    node03 ：192.168.38.92 DN SN
其中安装第一台机器时，建议在安装时就指定主机名，IP地址根据自己的局域网情况填写
每个人的子网可能不同（本人 192.168.38.0）

2、安装centos 7

创建虚拟机----->典型安装---->稍后安装系统----->linux (centos 7 64位)----->虚拟机名称（node01）+位置（hd01）—>自定义硬件（centos 7 镜像）---->完成---->install centos 7------>中文+最小安装+网络和主机名(192.168.38.90 255.255.255.0 192.168.38.2)–>重启

1、创建虚拟机

2、典型安装

3、linux (centos 7 64位)

4、虚拟机名称（node01）+位置（hd01）

5、分配

6、自定义硬件（centos 7 镜像）

7、自定义硬件完成

8、install centos 7

9、中文+最小安装+网络和主机名

3、连接centos7系统 1、通过MobaXterm或者Xshell

2、安装必要工具

sudo yum install net-tools

sudo yum install vim

sudo vim /etc/vimrc
( 添加  set ts=4 ) 为了让tab后的空格不要太大 

3、创建soft目录

目的：放置jdk 、hadoop安装包

使用xftp将文件拉进soft目录

4、解压

 sudo rpm -ivh jdk-8u281-linux-x64.rpm
 javac -version
 java -version
 
 sudo tar -zxvf hadoop-2.7.1.tar.gz -C /opt/
 cd /opt/
 #改变hadoop的权限
 sudo chown -R huser:huser /opt/hadoop-2.7.1

5、hadoop系统配置

sudo vim /etc/profile.d/hdfs.sh
#添加这两行
export HADOOP_HOME=/opt/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

#创建HDFS的NN和DN工作主目录
sudo mkdir /var/big_data
sudo chown -R huser:huser /var/big_data

6、系统准备：

​ 6.1、关闭防火墙

sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service

​ 6.2、关闭selinux

```shell
sudo vim /etc/selinux/config
修改为 SELINUX=disabled
```

4、hdfs配置文件修改

#本内容主要针对Hadoop的配置文件进行修改，修改原则和最开始的服务搭建要一致
#进入/opt/hadoop-2.7.1/etc/hadoop目录
#4.1、为Hadoop提供JAVA解释器路径信息，主要目的是解决远程访问hadoop时候JAVA_HOME无法继承的问题
vim hadoop-env.sh

export JAVA_HOME=/usr/java/default
#4.2、为Yarn任务、资源管理器提供Java运行环境
vim yarn-env.sh
        
export JAVA_HOME=/usr/java/default
#4.3、配置HDFS主节点信息、持久化和数据文件的主目录
vim core-site.xml

        
            fs.defaultFS
            hdfs://node01:9000
        
        
            hadoop.tmp.dir
            /var/big_data
        
#4.4、配置HDFS默认的数据存放策略
vim hdfs-site.xml

        
            dfs.replication
            2
        
        
            dfs.namenode.secondary.http-address
            node03:50090
        
#4.5、配置mapreduce任务调度策略
vim mapred-site.xml	

        
            mapreduce.framework.name
            yarn
        
#4.6、配置Yarn资源管理角色的信息
vim yarn-site.xml

        
            yarn.nodemanager.aux-services
            mapreduce_shuffle
        
        
            yarn.resourcemanager.hostname
            node01
        
#4.7、配置datanode节点信息
vim slaves

	    node01
	    node02
	    node03
#4.8、提前准备主机名解析文件，为后面的克隆机器做好准备（可选，若不做，克隆后为每台机器重新添加亦可）
sudo vim /etc/hosts
#删掉原本的两行 dd dd
        192.168.38.90  node01
        192.168.38.91  node02
        192.168.38.92  node03
        
#4.9、重启
sudo reboot

5、克隆 1、先把虚拟机node01关闭 2、克隆

3、克隆后修改node02、node03的IP和主机名

sudo vim /etc/sysconfig/networ-scripts/ifcfg-ens33
#将IPADDR的值改为约定的好的地址（192.168.38.91  / 192.168.38.92）
sudo vim /etc/hostname
#将node01改为node02 / node02

4、用MobaXterm连接三台虚拟机

这里为了节省时间可以进行三台同时 *** 作功能，因为有很多相同的命令

# 在3台机器上执行产生自己的公钥：
ssh-keygen -t rsa

# 将每台机器的公钥拷贝给每台机器，注意下面的指令要求3台机器都要执行：
ssh-copy-id node01
ssh-copy-id node02
ssh-copy-id node03

# 验证
ssh node02
(看是否要输入密码)
# 格式化hdfs
	hdfs namenode -format

5、启动

start-dfs.sh

jps

start-yarn.sh

192.168.38.90:50070

参考：

1. 一小时掌握Hadoop集群搭建_哔哩哔哩_bilibili

格式化hdfs

hdfs namenode -format

[外链图片转存中...(img-8OPOk9wK-1637666590079)]

### 5、启动

```shell
start-dfs.sh

jps

start-yarn.sh

192.168.38.90:50070

参考：

1. 一小时掌握Hadoop集群搭建_哔哩哔哩_bilibili
2. hadoop官网