Hadoop-HA集群

Hadoop-HA集群,第1张

HA集群就是为了避免分布式集群主角色的单点故障而准备的一种方案,给单点故障设置备份,形成主备架构

当主挂掉,备份顶上

是主备架构

如何让数据状态同步

如何避免脑裂

主备切换保证服务持续可用性的前提是主备节点之间的状态、数据是一致

集群无主:都认为对方是状态好的,自己是备份角色,后果是无服务;

集群多主:都认为对方是故障的,自己是主角色。相互争抢共享资源,结果会导致系统混乱,数据损坏。

jn 是一个高读取写入的集群 专门负责io,把主角色的日志读取并写入到备份角色中实现数据共享

jn集群也是一个主备架构

zkfc 是zookeeper客户端主要负责

1.监视和管理NameNode健康状态

2.维持和ZK集群联系

过程

namenode1和namenode2都取zk上注册角色,只有一个会成功就成为主角色,另一个设置监听

当nn1挂掉之后,nn2会干两件事1是先去通过ssh登录到nn1所在的机器上,杀死nn1(fencing隔离机制) ,2是到zz上注册成为主角色

高可用(HA)性有两种不同的含义,在广义环境中是指整个系统的高可用性,在狭义方面一般指主机、服务的冗余,如主机HA、应用程序的HA等,无论那种情况,高可用性都可以包含如下一些方面:

1、 系统失败或崩溃;

2、 应用层或者中间层错误;

3、网络失败;

4、 介质失败:指一些存放数据的媒体介质故障;

5、 人为错误;

6、 系统的容灾备份;

7、 计划内的维护或者重启。

可见,高可用性不仅包含了系统本身故障、应用层的故障、网络故障、认为 *** 作的错误等,还包含数据的冗余、容灾及计划的维护时间等,也就是说一个真正的高可用环境,不仅能避免系统本身的问题,还应该能防止天灾、人祸,并且有一个可靠的系统升级及计划维护 *** 作。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/10822026.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-11
下一篇 2023-05-11

发表评论

登录后才能评论

评论列表(0条)

保存