Hadoop高手之路--05--HA (高可用)

Hadoop高手之路--05--HA (高可用) HA (高可用) 一、Hadoop 2.0的新特性

三、HDFS的高可用架构的搭建 (一) 集群的规划

（二）创建虚拟机

（三）编辑虚拟机配置

（四）安装centos7.9

此过程可见 Hadoop高手之路–01–集群搭建

（五）配置虚拟机 1、配置网络

2、配置主机名

3、免密登录

4.创建目录

（六）克隆虚拟机

（七）配置克隆的虚拟机 1、配置网络

2、配置主机名

（八）配置各虚拟机ip地址和主机之间的映射关系 1、centos下

2、分发/etc/hosts

3、windows下

（九）虚拟机之间的免密登录

（十）关闭防火墙

三台虚拟机都需要关闭防火墙

（十一）安装小工具Irzsz和wget

（十二）安装配置jdk 1、解压

2、配置环境变量

3.分发jdk到其他节点

4.分发环境变量配置文件

5、使环境变量起作用

6、测试java是否安装配置成功

（十三）安装配置Hadoop 1、下载上传Hadoop安装包

2、解压

3、配置环境变量

使配置文件起作用

验证是否配置成功

4、HA集群配置

（1）core-site.xml

	
	
		fs.defaultFS
		hdfs://ns1
	
	
	
		hadoop.tmp.dir
		/export/data/hadoop/tmp
	
	
	
		ha.zookeeper.quorum
		ha-01:2181,ha-02:2181,ha-03:2181
	
	

（2）hdfs-site.xml

	
	
		dfs.replication
		2
	
	
	
		dfs.namenode.name.dir
		/export/data/hadoop/name
	
	
	
		dfs.datanode.data.dir
		/export/data/hadoop/data
	
	
	
		dfs.webhdfs.enabled
		true
	
	
	
		dfs.nameservices
		ns1
	
	
	
		dfs.ha.namenodes.ns1
		nn1,nn2
	
	
	
		dfs.namenode.rpc-address.ns1.nn1
		ha-01:9000
	
	
	
		dfs.namenode.http-address.ns1.nn1
		ha-01:50070
	
	
	
		dfs.namenode.rpc-address.ns1.nn2
		ha-02:9000
	
	
	
		dfs.namenode.http-address.ns1.nn2
		ha-02:50070
	
	
	
		dfs.namenode.shared.edits.dir
		qjournal://ha-01:8485;ha-02:8485;ha-03:8485/ns1
	
	
	
		dfs.journalnode.edits.dir
		/export/data/hadoop/journaldata
	
	
	
		dfs.ha.automatic-failover.enabled
		true
	
	
	
		dfs.client.failover.proxy.provider.ns1
		org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
	
	
	
		dfs.ha.fencing.methods
		
			sshfence
			shell(/bin/true)
		
	
	
	
		dfs.ha.fencing.ssh.private-key-files
		/root/.ssh/id_rsa
	
	
	
		dfs.ha.fencing.ssh.connect-timeout
		30000
	

（3）Mapred-site.xml

    
        mapreduce.framework.name
        yarn
     

（4）Yarn-site.xml

	  
        yarn.nodemanager.aux-services
        mapreduce_shuffle  
    
    
      
      
      
       yarn.resourcemanager.ha.enabled  
       true  
    
    
    
       yarn.resourcemanager.cluster-id  
       yrc        
    
      
       yarn.resourcemanager.ha.rm-ids  
       rm1,rm2  
    
      
       yarn.resourcemanager.hostname.rm1  
       ha-01 
      
      
       yarn.resourcemanager.hostname.rm2
       ha-02  
      

       
      
       yarn.resourcemanager.zk-address
        ha-01:2181,ha-02:2181,ha-03:2181
      
    
      
       yarn.resourcemanager.recovery.enabled
       true  
      

    
      
       yarn.resourcemanager.store.class
       org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
     

（5）Workers

（6）Hadoop-env.sh

5.分发Hadoop

6.使环境变量起作用并检验是否成功

分发配置文件

使配置文件起作用

验证是否配置成功

（十四）安装配置zookeeper 1、上传安装包

2、解压

3、配置环境变量

4、配置zookeeper

5、创建myid文件

6、分发zookeeper

7、分发profile

8、使环境变量起作用

9.在其他节点创建myid文件，内容分别为2、3

（十五）启动Hadoop高可用HA集群 1、启动zookeeper

2、启动JournalNode，用于监控管理日志

3、=在ha-01上格式化namenode，并分到到ha-02=

注意这一步一定要在ha-01上 *** 作
注意这一步一定要在ha-01上 *** 作
注意这一步一定要在ha-01上 *** 作


分发到ha-02

4、在ha-01上格式化ZKFC

5、启动Hadoop

出现报错，修改hadoop-env.sh

修改后再次启动

6、启动yarn

出现错误，修改hadoop-env.sh文件

修改后再次启动

在ha-02上杀掉rm进程，模拟服务器宕机

查看yarn运行状态

（十六）webui查看状态

杀死ha-01的namenode进程，模拟服务器挂机

查看集群工作状态

可以看到ha-02自动成为激活状态，集群工作正常