Hadoop、Zookeeper完全分布式集群安装部署

Hadoop、Zookeeper完全分布式集群安装部署

集群规划

hadoop1：192.168.76.111

hadoop2：192.168.76.112

hadoop3：192.168.76.113

安装包版本：jdk-1.8、hadoop-2.7.1、zookeeper-3.4.8

对三台虚拟机进行准备工作（三台虚拟机都要做）

修改主机名

hostnamectl set-hostname  主机名

bash

关闭防火墙和防火墙开机自启动

systemctl stop firewalld

systemctl disable firewalld

配置域名映射

vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.76.111 hadoop01
192.168.76.112 hadoop02
192.168.76.113 hadoop03

配置免密登录

ssh-keygen

ssh-copy-id 主机名

不要忘记本机免密登录

上传安装包（仅在hadoop1做）

 创建安装目录

mkdir -p /bigdata/install

以下步骤仅在hadoop1上 *** 作

开始安装jdk

解压java安装包到安装目录，并更改名字

tar -zxvf jdk-1.8-linux-x64.tar.gz -C /bigdata/install

mv jdk1.8.0_144/ jdk
修改环境变量

vim /etc/profile，在最后添加

export JAVA_HOME=/bigdata/install/jdk
export PATH=$PATH:$JAVA_HOME/bin

刷新环境变量         source /etc/profile

查看java版本

将配置文件分发给另外两台虚拟机

scp -r jdk/ hadoop02:/bigdata/install/

scp -r jdk/ hadoop03:/bigdata/install/

scp /etc/profile hadoop02:/etc

scp /etc/profile hadoop03:/etc

 java安装完成

开始安装hadoop

解压hadoop安装包到安装目录，并更改名字

tar -zxvf hadoop-2.7.1.tar.gz -C /bigdata/install
mv hadoop-2.7.1/ hadoop

配置环境变量

vim /etc/profile，在最后添加

export HADOOP_HOME=/bigdata/install/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

查看hadoop版本

 

进入hadoop配置文件目录        cd /bigdata/install/hadoop/etc/hadoop/

修改配置文件

vim core-site.xml

 fs.defaultFS
 hdfs://hadoop01:9000
 
 
 hadoop.tmp.dir
 /bigdata/install/hadoop/hdfs
 

 vim hdfs-site.xml

 dfs.replication
 3
 
 
 dfs.namenode.secondary.http-address
 hadoop02:9001

cp mapred-site.xml.template mapred-site.xml
 vim mapred-site.xml

 mapreduce.framework.name
 yarn
 

vim yarn-site.xml

 yarn.resourcemanager.hostname
 hadoop01
 
 
 yarn.nodemanager.aux-services
 mapreduce_shuffle
 

 vim slaves

hadoop01
hadoop02
hadoop03

 vim hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/bigdata/install/jdk

 将配置文件分发给另外两台虚拟机

scp -r hadoop/ hadoop02:/bigdata/install/

 scp -r hadoop/ hadoop03:/bigdata/install/

scp /etc/profile hadoop02:/etc

scp /etc/profile hadoop03:/etc

刷新环境变量

source /etc/profile（三台都要做）

格式化namenode（仅在master做）

hadoop namenode -format

 出现successfully说明格式化成功

启动集群

start-all.sh

查看进程状态

 

 登录web界面查看        http://hadoop01's ip :50070

 hadoop安装完成

开始安装zookeeper

解压安装包到安装目录，并更改名字

tar -zxvf zookeeper-3.4.8.tar.gz -C /bigdata/install/

mv zookeeper-3.4.8/ zookeeper

进入配置文件所在目录。修改配置文件

cd zookeeper/conf/

cp zoo_sample.cfg zoo.cfg
 vim zoo.cfg 

# example sakes.
dataDir=/bigdata/install/zookeeper/zkdata


#autopurge.purgeInterval=1
server.1=192.168.76.111:2888:3888
server.2=192.168.76.112:2888:3888
server.3=192.168.76.113:2888:3888

分发文件给其他两台虚拟机

scp -r zookeeper/ hadoop02:/bigdata/install/
scp -r zookeeper/ hadoop03:/bigdata/install/

创建目录

mkdir /bigdata/install/zookeeper/zkdata

设置myid

hadoop01：echo 1 > /bigdata/install/zookeeper/zkdata/myid

hadoop02：echo 2 > /bigdata/install/zookeeper/zkdata/myid

 hadoop03：echo 3 > /bigdata/install/zookeeper/zkdata/myid

  启动zookeeper并查看节点状态

 

 

 

 zookeeper安装完成