hadoop2.0中的ha与secondary namenode需不需要另起一台服务器

hadoop2.0中的ha与secondary namenode需不需要另起一台服务器,第1张

集群的类型集群分为两种类型:负载平衡和失效转移作为共享硬盘,不同于包含 *** 作系统的硬盘控制器。
MSCS解决方案可以采用主动/被动模式工作。在同一时间集群中只有一个节点是主动的,主动服务器存储着集群内的全部资源,并不断将数据写入共享硬盘,这就是所谓的quorum驱动器。它可以在故障恢复时,将共享状态信息从一个节点转移到另一个节点。定时的发送信号会通过服务器间的专用网传递,当处于被动模式的服务器没有受到这个信号,就认为主动服务器已经失效。此时,它便开始接管集群资源,并从quorum分区上读取状态信息。
在集群中安装 SQL Server
为了在集群上安装 SQL Server ,你必须首先按以下步骤建立一个可 *** 作的集群:
1 在每个服务器上安装支持MSCS的Windows Server *** 作系统。
2 为每个服务器建立一个"公开的"网络连接。这个连接用来接收外部查询请求。
3 在集群的两个节点间建立一个专用网络,用来传输节点状态信号。
5 将两个服务器。连接到共享驱动器上,并建立磁盘资源。开启集群中的一号节点(主动模式)。建立并初始化逻辑磁盘空间用来设置quorum驱动器,并建立其它的逻辑分区。
6 通过控制面板的添加/删除程序中的Windows组件添加并配置Microsoft Cluster Service。其中包括设置集群的虚拟名称、IP地址,以及共享磁盘资源。
7 开启二号节点(被动模式)。当二号节点在线时,回到一号节点,通过集群管理程序添加二号节点。在集群中添加二号节点非常容易,只要通过在一号节点进行简单配置就可以完成。
集群建立好后,就按照以下步骤安装SQL Server了:
1 插入SQL Server企业版的安装光盘。如果没有启动自动安装程序,就在光盘上setupexe。
2 在确认计算机名界面,选择虚拟服务器并输入一个虚拟名称。
3 建立一个运行SQL Server的服务账号。将集群中每个节点的管理权限赋给这个账号。
4 填写IP地址、服务账号,以及共享磁盘资源等内容。
安装程序会在集群中的每个节点上安装SQL Server的复本,并在集群中建立虚拟设置。

zk通过Multi-Paxos思想实现分布式一致性,Multi-Paxos为了解决Paxos需要2轮RPC通讯(准备阶段和接受阶段)往返消息多、耗性能、延迟大的问题引入了Leader-Follower-Learner模式;考虑到高可用性,有Leader就会涉及选举Leader的问题,本节就来分析下zk是如何实现选主的;

以三个节点同时启动为例:

以3个节点中Server1作为Follower重启为例:

以4个节点中Server4作为Leader宕机为例:

Leader :一个zk集群同一时刻只有一个Leader,所有写 *** 作必须通过Leader完成,然后再广播给其他服务器;
Follower :一个zk集群同一时刻有多个Follower。Follower可以直接处理读请求,但是写请求需要转发给Leader处理,同时负责在Leader处理写请求时对请求进行投票;
Observer :功能跟Follower类似,但是没有投票权;

Looking :寻找Leader状态,处于该状态的服务器会发起选主;
Following :跟随者状态,表明当前服务器是Follower;
Leading :领导者状态,表明当前服务器是Leader;
Observing :观察者状态,表明当前服务器是Observer;

Listenerrun 监听2888端口,阻塞在ServerSocketaccept,等待其他服务器请求创建连接;
RecvWorkerrun 阻塞在DataInputStreamread,获取对应服务器发送的投票信息;
SendWorkerrun 阻塞在ArrayBlockingQueuepoll,获取待发送消息,发送给对应服务器;
WorkerReceiverrun 阻塞在recvqueuepoll,获取RecvWorkerrun中接收的投票消息Notification;
WorkerSenderrun 阻塞在sendqueuepoll,获取待发送ToSend到SendWorkerrun进行处理;
QuorumPeerrun 集群模式启动过程中选举结束后,根据当前服务器状态进行之后的异步流程处理;

LinkedBlockingQueue<ToSend> sendqueue FastLeaderElection中的请求发送队列,存放的是ToSend;

LinkedBlockingQueue<Notification> recvqueue FastLeaderElection中的请求接受队列,存放的是Notification;

ConcurrentHashMap<Long, SendWorker> senderWorkerMap sid -> 当前服务器到该sid的SendWorker;每个服务器会跟比自己sid小的服务器创建一个SendWorker用于投票选主时发送投票信息;
ConcurrentHashMap<Long, ArrayBlockingQueue<ByteBuffer>> queueSendMap sid -> 当前服务器需要发送到该sid的投票消息的队列;WorkerSenderrun中会根据不同sid把对用的选票信息放入对应的ArrayBlockingQueue中;
ConcurrentHashMap<Long, ByteBuffer> lastMessageSent sid->最后一次发送到该sid的投票信息;
ArrayBlockingQueue<Message> recvQueue WorkerReceiverrun中接收到的投票信息,解析字节流转成Message放到recvQueue中;

zk选主涉及6个线程、多个集合,过程比较饶,必须要先把选主的流程和各个线程、集合的作用等搞清楚,不然理解起来比较难。下一节通过源码来具体分析选主的实现;
------ over ------


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zz/13451480.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-08-09
下一篇 2023-08-09

发表评论

登录后才能评论

评论列表(0条)

保存