-
上传hadoop,解压到/opt目录
export JAVA_HOME=/usr/java/jdk1.8.0_131 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root #指定ZKFC用户的权限 export HDFS_ZKFC_USER=root #指定yarn资源管理的权限 export YARN_RESOURCEMANAGR_USER=root #指定yarn的节点管理的权限 export YARN_NODEMANAGER_USER=root export HDFS_JOURNALNODE_USER=root3. 修改vim /opt/hadoop-3.1.2/etc/hadoop/core-site.xml
4 .修改 vim /opt/hadoop-3.1.2/etc/hadoop/hdfs-site.xml~ fs.defaultFS hdfs://bdp hadoop.tmp.dir /opt/bdp/hadoop-3.1.2/data/tmp ha.zookeeper.quorum baseNode:2181,zknode1:2181,zknode2:2181
5. vim hadoop-3.1.2/etc/hadoop/workersbdp dfs.ha.namenodes.bdp bn,nn1 dfs.namenode.rpc-address.bdp.bn baseNode:8020 dfs.namenode.rpc-address.bdp.nn1 zknode1:8020 dfs.namenode.http-address.bdp.bn baseNode:50070 dfs.namenode.http-address.bdp.nn1 zknode1:50070 dfs.namenode.shared.edits.dir qjournal://baseNode:8485;zknode1:8485;zknode2:8485/ns1 dfs.journalnode.edits.dir /var/bdp/ha/qjn dfs.client.failover.proxy.provider.bdp org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /home/hadoop/.ssh/id_rsa dfs.ha.automatic-failover.enabled true dfs.replication 2
baseNode zknode1 zknode2 ~6. 修改环境变量vim /etc/profile
export HADOOP_HOME=/opt/hadoop-3.1.2 export PATH=$PATH:$HADOOP_HOME/bin:$PATH:$HADOOP_HOME/sbin启动HA 启动zookeeper【全部主机】
- zkServer.sh start
- zkServer.sh status
- hdfs --daemon start journalnode
- hdfs namenode -format
- hdfs --daemon start namenode
- 这里启动zknode1的备份namenode
- hdfs --daemon start journalnode
- 回到baseNode
- hdfs zkfc -formatZK
- start-dfs.sh
这里最开始有个问题,就是basenode是standby,我也不知为什么。切换方式,就是重启下active的zkNode1。
hadoop-daemon.sh stop zkfc hadoop-daemon.sh start zkfc
[外链图片转存中…(img-cuEVJ4Lh-1639397778405)]
这里最开始有个问题,就是basenode是standby,我也不知为什么。切换方式,就是重启下active的zkNode1。
hadoop-daemon.sh stop zkfc hadoop-daemon.sh start zkfc
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)