个人学习整理，所有资料来自尚硅谷
B站学习连接：添加链接描述
集群规划
在hadoop102、hadoop103和hadoop104三个节点上都部署Zookeeper。（通常部署台数为2n+1个）
配置服务器编号
（1）在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件
[atguigu@hadoop102 zkData]$ vim myid
在文件中添加与 server 对应的编号（注意：上下不要有空行，左右不要有空格）
2
注意：文件名必须是myid，其中的2表示第2号服务器
（2）拷贝配置好的zookeeper到其他机器上
[atguigu@hadoop102 module ]$ xsync zookeeper-3.5.7
并分别在hadoop103、hadoop104上修改myid文件中内容为3、4
配置zoo.cfg文件
（1）打开 zoo.cfg 文件，增加如下配置
#######################cluster########################## server.2=hadoop102:2888:3888 server.3=hadoop103:2888:3888 server.4=hadoop104:2888:3888
（2）配置参数解读
server.A=B:C:D
A 是一个数字，表示这个是第几号服务器；集群模式下配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面有一个数据就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server。
B是这个服务器的地址；
C是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口；
D是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。
（3）同步zoo.cfg配置文件
[atguigu@hadoop102 conf]$ xsync zoo.cfg
集群 *** 作
（1）在hadoop102上启动Zookeeper并查看状态
[atguigu@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh start [atguigu@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh status
当前出现error，这是因为集群中要有半数以上节点存活，Zookeeper集群就能正常服务。
（2）在hadoop103上启动Zookeeper并查看状态
（3）再查看hadoop102的状态
（4）在hadoop104上启动Zookeeper并查看状态
3.1.2 选举机制（面试重点） 3.1.2.1 Zookeeper选举机制——第一次启动- 服务器1启动，发起一次选举，服务器1投自己一票，不够半数以上（3票），选举无法完成，服务器1状态保持为LOOKING;服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时服务器1发现服务器2的myid比自己目前投票选举的（服务器1）大，更改选票为推荐服务器2。此时服务器1票数为0，服务器2票数为2，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING;服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3.此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1,2更改状态为FOLLOWING，服务器3更改状态为LEADING；服务器4启动，发起一次选举。此时服务器1,2,3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为1票，此时服务器4服从多数，更改选票为服务器3，并更改状态为FOLLOWING；服务器5启动，同服务器4一行，更改状态为FOLLOWING。
SID：服务器ID。用来唯一标识一台Zookeeper集群中的机器，每台机器不能重复，和myid一致。
ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更，在某一时刻，集群中的每台机器的ZXID 值不一定完全一致，折合Zookeeper服务器对于客户端“更新请求”的处理逻辑有关。
Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据会增加。
3.1.2.2 Zookeeper选举机制——非第一次启动- 当Zookeeper集群中的一台服务器出现以下两种情况之一时，就会开始进入Leader选举：
服务器初始化启动服务器运行期间无法和Leader保持连接
- 当一台机器进入Leader选举流程时，当前集群可能会处于以下两种状态：
集群中本来就已经存在一个Leader。
对于这种已经存在Leader的情况，机器试图去选举Leader时，会被告知当前服务器的Leader信息，对于该机器来说，仅仅需要和Leader机器建立连接，并进行状态同步即可。
集群中确实不存在Leader。
假设Zookeeper由5台服务器组成，SID分别为1,2,3,4,5，ZXID分别为8,8,8,7,7，并且此时SID为3的服务器是Leader。某一时刻，3和5服务器出现故障，因此开始进行Leader选举。
SID为1、2、4的机器投票情况：
SID （EPOCH、ZXID、SID）
1 （1，8，1）
2 （1，8，2）
4 （1，7，4）
选举Leader规则：
EPOCH大的直接胜出EPOCH相同时，事务id大的胜出事务id相同时，服务器id大的胜出 3.1.3 ZK集群启动停止脚本
- 在hadoop102的/home/atguigu/bin目录下创建脚本
[atguigu@hadoop102 bin]$ vim zk.sh
在脚本中编写如下内容：
#!/bin/bash
case in
"start"){
for i in hadoop102 hadoop103 hadoop104
do
echo ---------- zookeeper $i 启动 ----------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
done
};;
"stop"){
for i in hadoop102 hadoop103 hadoop104
do
echo ---------- zookeeper $i 停止 ----------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
done
};;
"status"){
for i in hadoop102 hadoop103 hadoop104
do
echo ---------- zookeeper $i 状态 ----------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
done
};;
esac
- 增加脚本执行权限
[atguigu@hadoop102 bin]$ chmod 777 zk.sh
- Zookeeper集群启动，查看状态，停止
[atguigu@hadoop102 bin]$ zk.sh start [atguigu@hadoop102 bin]$ zk.sh status [atguigu@hadoop102 bin]$ zk.sh stop3.2 客户端命令行 *** 作 3.2.1 命令行语法
-w 监听子节点变化
-s 附加次级信息
-s 含有序列
-e 临时（重启或者超时消失）
-w 监听节点内容变化
-s 附加次级信息
- 启动客户端
[atguigu@hadoop102 zookeeper-3.5.7]$ bin/zkCli.sh -server hadoop102:2181
- 显示所有 *** 作命令
[zk: hadoop102:2181(CONNECTED) 1] help3.2.2 znode节点数据信息
- 查看当前znode中所包含的内容
[zk: hadoop102:2181(CONNECTED) 0] ls / [zookeeper]
- 查看当前节点详细数据
[zk: hadoop102:2181(CONNECTED) 5] ls -s / [zookeeper]cZxid = 0x0 ctime = Thu Jan 01 08:00:00 CST 1970 mZxid = 0x0 mtime = Thu Jan 01 08:00:00 CST 1970 pZxid = 0x0 cversion = -1 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 0 numChildren = 1
cZxid：创建节点的事务zxid
每次修改ZooKeeper状态都会产生一个ZooKeeper事务ID。事务ID是ZooKeeper中所有修改总的次序。每次修改都有唯一的zxid，如果zxid小于zxid2，那么zxid1在zxid2之前发生。
ctime：znode被创建的毫秒数（从1970年开始）
mzxid：znode最后更新的事务zxid
mtime：nzode最后修改的毫秒数（从1970年开始）
pZxid：znode最后更新的子节点zxid
cversion：znode子节点变化号，znode子节点修改次数
dataversion：znode数据变化号
aclVersion：znode访问控制列表的变化号
ephemeralOwner：如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0
dataLength：znode的数据长度
numChilren：znode子节点数量
3.2.3 节点类型（持久/短暂/有序号/无序号）持久（Persistent）：客户端和服务器端断开连接后，创建的节点不删除短暂（Ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除
（1）持久化目录节点
客户端与Zookeeper断开连接后，该节点依旧存在；
（2）持久化顺序编号目录节点
客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序表号；
（3）临时节点目录
客户端与Zookeeper断开连接后，该节点被删除；
（4）临时顺序编号目录节点
客户端与Zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号。
- 分别创建2个普通节点（永远节点+不带序号）
[zk: localhost:2181(CONNECTED) 1] create /sanguo "diaochan" Created /sanguo [zk: localhost:2181(CONNECTED) 2] create /sanguo/shuguo "liubei" Created /sanguo/shuguo
注意：创建节点时，要赋值
- 获得节点的值
[zk: localhost:2181(CONNECTED) 3] get -s /sanguo
[zk: localhost:2181(CONNECTED) 5] get -s /sanguo/shuguo
创建带序号的节点（永久节点+带序号）
（1）先创建一个普通的根节点/sanguo/weiguo
[zk: localhost:2181(CONNECTED) 6] create /sanguo/weiguo "caocao"
（2）创建带序号的节点
[zk: localhost:2181(CONNECTED) 7] create -s /sanguo/weiguo/zhangliao "zhangliao" Created /sanguo/weiguo/zhangliao0000000000 [zk: localhost:2181(CONNECTED) 8] create -s /sanguo/weiguo/zhangliao "zhangliao" Created /sanguo/weiguo/zhangliao0000000001 [zk: localhost:2181(CONNECTED) 9] create -s /sanguo/weiguo/xuchu "xuchu" Created /sanguo/weiguo/xuchu0000000002
如果原来没有序号节点，序号从0开始依次递增。如果原节点下已有2个节点，则再排序时从2开始，以此类推。
创建短暂节点（短暂节点+不带序号or带序号）
（1）创建短暂的不带序号的节点
[zk: localhost:2181(CONNECTED) 10] create -e /sanguo/wuguo "zhouyu" Created /sanguo/wuguo
（2）创建短暂的带序号的节点
[zk: localhost:2181(CONNECTED) 11] create -e -s /sanguo/wuguo "zhouyu" Created /sanguo/wuguo0000000003
（3）在当前客户端是能查看到的
[zk: localhost:2181(CONNECTED) 12] ls / sanguo zookeeper [zk: localhost:2181(CONNECTED) 12] ls /sanguo [shuguo, weiguo, wuguo, wuguo0000000003]
（4）退出当前客户端然后再重启客户端
[zk: localhost:2181(CONNECTED) 13] quit [atguigu@hadoop102 zookeeper-3.5.7]$ bin/zkCli.sh
（5）再次查看根目录下短暂节点已经删除
[zk: localhost:2181(CONNECTED) 0] ls /sanguo [shuguo, weiguo]
- 修改节点数据值
[zk: localhost:2181(CONNECTED) 1] set /sanguo/weiguo "simayi" [zk: localhost:2181(CONNECTED) 2] ls /sanguo [shuguo, weiguo] [zk: localhost:2181(CONNECTED) 3] get -s /sanguo/weiguo3.2.4 监听器原理
客户端注册监听它关心的目录节点，当目录节点发生变化（数据改变、节点删除、子目录节点增加删除）时，Zookeeper会通知客户端。监机制保证了Zookeeper保存的任何的数据的任何改变都能快速的响应到监听了该节点的应用程序。
监听器原理详解
首先要有一个main（）线程在main线程中创建Zookeeper客户端，这时就会创建两个线程，一个负责网络连接通信（connect），一个负责监听（listener）。通过connect线程将注册的监听事件发送给Zookeeper。在Zookeeper的监听器列表中将注册的监听事件添加到列表中。Zookeeper监听到数据或路径变化，就会将这个消息发送给listener线程。listener线程内部调用了process（）方法。
节点的值变化监听
（1）在hadoop104主机上注册监听/sanguo节点数据变化
[zk: localhost:2181(CONNECTING) 0] get -w /sanguo diaochan
（2）在hadoop103主机上修改/sanguo节点的数据
[zk: localhost:2181(CONNECTED) 0] set /sanguo "xishi"
（3）观察hadoop104主机收到数据变化的监听
注意：在hadoop103再多次修改/sanguo的值，hadoop104上不会再收到监听。这是因为注册一次，只能监听一次。想再次监听，需要再次注册。
节点的子节点变化监听（路径变化）
（1）在hadoop104主机上注册监听/sanguo节点的子节点变化
[zk: localhost:2181(CONNECTED) 0] ls -w /sanguo [shuguo, weiguo]
（2）在hadoop103主机/sanguo节点上创建子节点
[zk: localhost:2181(CONNECTED) 1] create /sanguo/jinguo "simayi" Created /sanguo/jinguo
（3）观察hadoop104主机收到子节点变化的监听
注意：节点的路径变化，也是注册一次，生效一次。想多次生效，就需要多次注册。
删除节点
[zk: localhost:2181(CONNECTED) 2] delete /sanguo/jinguo
查看节点状态
[zk: localhost:2181(CONNECTED) 4] stat /sanguo
递归删除节点
[zk: localhost:2181(CONNECTED) 3] ls /sanguo [shuguo, weiguo] [zk: localhost:2181(CONNECTED) 5] deleteall /sanguo [zk: localhost:2181(CONNECTED) 6] ls / [zookeeper]
前提：保证hadoop102、hadoop103、hadoop104服务器上Zookeeper集群服务端启动
3.3.1 IDEA环境搭建创建zookeeper工程
添加pom文件
junit junitRELEASE org.apache.logging.log4j log4j-core2.8.2 org.apache.zookeeper zookeeper3.5.7
拷贝log4j.properties 文件到项目根目录
需要在项目的src/main/resources 目录下，新建一个文件，命名为“log4j.properties”，在
文件中填入。
log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c]- %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d %p [%c]- %m%n
创建包名com.atguigu.zk
创建类名称zkClient
package com.atguigu.zk;
import org.apache.zookeeper.*;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
public class zkClient {
//注意逗号左右不能有空格
private String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
private int sessionTimeout = 2000;//2000ms = 2s
private ZooKeeper zkClient;
@Before
public void init() throws IOException {
//参数1：连接的服务端
//参数2：连接失败时长
//参数3：监听器
zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent watchedEvent) {
}
});
}
@Test
public void create() throws InterruptedException, KeeperException {
//参数1：要创建的节点的路径
//参数2：节点数据
//参数3：阶段权限
//参数4：节点的类型
String nodeCreated = zkClient.create("/atguigu", "ss.avi".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
}
}
3.3.3 获取子节点并监听节点变化
由于监听时，注册一次，生效一次，所以获取节点可以放在监听中，这样就能一直监听到节点变化情况。
package com.atguigu.zk;
import org.apache.zookeeper.*;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
public class zkClient {
//注意逗号左右不能有空格
private String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
private int sessionTimeout = 2000;//2000ms = 2s
private ZooKeeper zkClient;
@Before
public void init() throws IOException {
//参数1：连接的服务端
//参数2：连接失败时长
//参数3：监听器
zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent watchedEvent) {
System.out.println("--------------------------------");
List children = null;
try {
children = zkClient.getChildren("/", true);
for (String child : children) {
System.out.println(child);
}
System.out.println("--------------------------------");
} catch (KeeperException e) {
e.printStackTrace();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
});
}
@Test
public void create() throws InterruptedException, KeeperException {
String nodeCreated = zkClient.create("/atguigu", "ss.avi".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
}
@Test
public void getChildren() throws InterruptedException, KeeperException {
List children = zkClient.getChildren("/", true);
//延时
Thread.sleep(Long.MAX_VALUE);
}
}
删除节点atguigu2：
@Test
public void exist() throws InterruptedException, KeeperException {
Stat stat = zkClient.exists("/atguigu", false);
System.out.println(stat==null ? "not exist":"exist");
}
3.4 客户端向服务端写数据流程
3.4.1 写流程之写入请求直接发送给Leader节点
- 客户端向leader发出写请求，leader开始写；leader让follower也写对应的数据；follower写完向leader应答；超过半数后，leader向客户端应答；leader再让下一个follower写对应的数据；follower写完向leader应答。
- 客户端向follower发出写请求；follower向leader发出写请求；leader开始写，再让follower也开始写；follower写完向leader应答；超过半数后，leader向follower应答，因为follower才是发送的节点；follower向客户端应答；leader再让下一个follower写对应的数据；follower写完向leader应答。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）