hadoop系列(二)HA高可用方式部署

hadoop系列(二)HA高可用方式部署

主节点(nameNode节点)与其他从节点具备ssh免密登录

HOST

IP

NN

NN

SNN

DN

ZKFC

JN

ZK

node01

192.168.1.101

√

√

√

node02

192.168.1.102

√

√

√

√

√

√

node04

192.168.1.104

√

√

√

node05

192.168.1.105

√

√

1. 先启动 JN hadoop-daemon.sh start journalnode
2. 选择一个NameNode进行格式化 *** 作 ./hdfs namenode -format 只有第一次搭建的时候做，其他时候直接启动，然后启动这个格式化的namenode
3. 在另外一台namenode 同步 ./hdfs namenode -bootstrapStandby 
4. 格式化zookeeper : hdfs zkfc -formatZK 只有第一次搭建的时候做
5. 启动 hdfs 

1. 部署安装zookeeper

下载zookeeper安装包zookeeper.2.4.6.tar

准备zk的数据目录，在node2上执行：

cd /usr/local/bigdata

wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
mkdir zk
cd zk/
echo 1 > myid

1.2 在conf目录下新增配置文件zoo.cfg

dataDir=/usr/local/bigdata/zk
server.1=192.168.1.102:2888:3888
server.2=192.168.1.104:2888:3888
server.3=192.168.1.105:2888:3888

把文件cope到node4和node5，而且对应的也要新增zk目录

# 在node4上新增mypid
echo 4 > myid

# 在node5上新增mypid
echo 5 > myid

scp -r zookeeper-3.4.6 node4:`pwd`
scp -r zookeeper-3.4.6 node5:`pwd`

1.3 启动三台机器的zk

/usr/local/bigdata/zookeeper-3.4.6/bin/zkServer.sh start /usr/local/bigdata/zookeeper-3.4.6/bin/conf/zoo.cfg

2. 部署hadoop 2.1 修改core-site.xml配置文件

mkdir -p /home/hadoop/ha/hdfs/data
mkdir -p /home/hadoop/ha/hdfs/name

分发配置：

scp -r hadoop-ha/ node2:`pwd`
scp -r hadoop-ha/ node3:`pwd`
scp -r hadoop-ha/ node4:`pwd`
scp -r hadoop-ha/ node5:`pwd`

2.2 在三台机器上node1，node2，node4 启动journalnode

cd /sbin

./hadoop-daemon.sh start journalnode

在三台机器山执行jps查看是否有JournalNode进程，并且查看日志文件是否有报错

hadoop-hadoop-journalnode-node*.log

2.3 格式化namenode

cd bin/
./hdfs namenode -format

此时在node1执行了format，就不要在其他机器执行了，而且也仅仅在集群部署的第一次执行，之后也不再执行

在刚刚的机器上启动namenode

./hadoop-daemon.sh start namenode

jps验证进程

第二台namenode机器：

cd bin/
./hdfs namenode -bootstrapStandby

 执行同步文件原数据的命令，把信息同步过来

格式化zookeeper

./hdfs zkfc -formatZK

查看zookeeper的数据，会多出此目录

 启动hdfs

cd sbin
./start-dfs.sh

 验证hdfs：

http://192.168.1.102:50070/dfshealth.html#tab-overview            http://192.168.1.102:50070/dfshealth.html#tab-overviewhttp://192.168.1.102:50070/dfshealth.html#tab-overview

node1 192.168.1.10为active

node2 192.168.1.102为standby

 

使用hdfs 创建目录 上传文件：

./hdfs dfs -mkdir -p /usr/test

停止hadoop：

使用./stop-dfs.sh 即可