HA模式下的Yarn的搭建

HA模式下的Yarn的搭建 感谢大家的支持

来到这篇文章的同学，现在应该已经有了高可用模式的hadoop集群了，如果没有请参考我的另外一篇文章

(1条消息) Hadoop-HA模式的搭建(手把手教，超细)_迫壳的博客-CSDN博客https://blog.csdn.net/qq_56893858/article/details/121400388?spm=1001.2014.3001.5501

MapReduce On Yarn，借鉴官网搭建

资源管理器HA_Hadoop 中文网https://hadoop.org.cn/docs/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html

 

先说一下此篇文章各个节点的角色

                         RM                                       NM

node01                                                                                                       

node02                                                         *                

node03                  *                                      *                  

node04                  *                                     *                  
 

1.修改配置文件

node01:

cd $HADOOP_HOME/etc/hadoop

cp mapred-site.xml.template   mapred-site.xml

vi mapred-site.xml

          
         mapreduce.framework.name
         yarn
          

vi  yarn-site.xml

         yarn.nodemanager.aux-services
         mapreduce_shuffle
          

       
         yarn.resourcemanager.ha.enabled
         true
       
       
         yarn.resourcemanager.zk-address
         node02:2181,node03:2181,node04:2181
       

       
         yarn.resourcemanager.cluster-id
         poke
       

       
         yarn.resourcemanager.ha.rm-ids
         rm1,rm2
       
       
         yarn.resourcemanager.hostname.rm1
         node03
       
       
         yarn.resourcemanager.hostname.rm2
         node04
       

2.分发配置文件并启动

scp mapred-site.xml yarn-site.xml    node02:`pwd`

scp mapred-site.xml yarn-site.xml    node03:`pwd`

scp mapred-site.xml yarn-site.xml    node04:`pwd`

启动

node01:start-yarn.sh

node03~node04:yarn-daemon.sh start resourcemanager

 

3.测试访问 

http://node03:8088/

 

完事，搭建成功！制作不易，点个赞吧，同学们！