nosql 配置Hadoop的HA

nosql 配置Hadoop的HA

1. 在master修改core-site.xml文件，使用ns替换master做为Hadoop的访问地址

sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml

修改后的完整内容如下：

hadoop.tmp.dir

file:/usr/local/hadoop/tmp

 fs.defaultFS

 hdfs://ns

 

 

 

 hadoop.proxyuser.hadoop.groups

 *

     

hadoop.proxyuser.hadoop.hosts

*

ha.zookeeper.quorum

master:2181,slave1:2181,slave2:2181

1. 将修改好的core-site.xml文件发送给slave1和slave2文件

scp /usr/local/hadoop/etc/hadoop/core-site.xml hadoop@slave1:/usr/local/hadoop/etc/hadoop/

scp /usr/local/hadoop/etc/hadoop/core-site.xml hadoop@slave2:/usr/local/hadoop/etc/hadoop/

1. 在master修改hdfs-site.xml文件

sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

修改后的完整内容如下：

dfs.nameservices

ns

dfs.ha.namenodes.ns

nn1,nn2

dfs.namenode.rpc-address.ns.nn1

master:9000

dfs.namenode.http-address.ns.nn1

master:50070

dfs.namenode.rpc-address.ns.nn2

slave1:9000

dfs.namenode.http-address.ns.nn2

slave1:50070

dfs.namenode.shared.edits.dir

qjournal://master:8485;slave1:8485;slave2:8485/ns

dfs.journalnode.edits.dir

/usr/local/hadoop/tmp/journal

dfs.namenode.name.dir

file:/usr/local/hadoop/tmp/dfs/name

dfs.datanode.data.dir

file:/usr/local/hadoop/tmp/dfs/data

dfs.ha.automatic-failover.enabled

true

dfs.client.failover.proxy.provider.ns

org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

dfs.ha.fencing.methods

sshfence

dfs.ha.fencing.ssh.private-key-files

/home/hadoop/.ssh/id_rsa

        dfs.qjournal.write-txns.timeout.ms

        60000

1. 将修改好的hdfs-site.xml文件发送给slave1和slave2文件

scp /usr/local/hadoop/etc/hadoop/hdfs-site.xml hadoop@slave1:/usr/local/hadoop/etc/hadoop/

scp /usr/local/hadoop/etc/hadoop/hdfs-site.xml hadoop@slave2:/usr/local/hadoop/etc/hadoop/

1. 3个节点都执行以下命令清除HDFS上存储的数据

rm -rf /usr/local/hadoop/tmp/dfs/

1. 3个节点都使用以下命令启动Zookeeper

启动Zookeeper：zkServer.sh start

查看Zookeeper状态：zkServer.sh status

1. 3个节点都使用以下命令启动JournalNode

hadoop-daemon.sh start journalnode

1. 在master上格式化NameNode，在master使用以下命令：

hdfs namenode -format

1. 启动master上的NameNode，在master使用以下命令：

hadoop-daemon.sh start namenode

1. 同步master上NameNode的数据到slave1，在slave1使用以下命令：

hdfs namenode -bootstrapStandby

1. 关闭master上的NameNode，在master使用以下命令：

hadoop-daemon.sh stop namenode

1. 在master初始化Zookeeper监控工具，在master使用以下命令：

hdfs zkfc -formatZK

1. 安装切换NameNode状态的psmisc软件，在master和slave1使用以下命令：

sudo apt-get install psmisc

1. 启动hdfs验证NameNode的HA，在master使用以下命令：

start-dfs.sh