disconf相关问题总结-结合issue，官方文档

对于Web系统：

要实现统一读取，可以使用ThreadContext+AOP来实现。

ThreadContext的使用方式有以下几种：

解决方法一 ：提供ThreadContext包，在每次请求一开始时都复制系统里的所有配置缓存(复制过程要与配置更新Sync互斥)，从而保证每次会话的数据的一致性。

解决方法二 ：提供ThreadContext包，每次请求都绑定一个版本号，如果读取时版本号不一致则报错，需要重新请求。

解决方法三 ：方法二的加强版，添加一个注解定义，标注它是需要强一制性的，每次会话读取时只复制这些强一制性配置(复制过程要与配置更新Sync互斥)。

解决方法四 ：提供ThreadContext包，系统内保存有多个配置缓存层，读取时统一读取某个版本的缓存。每当配置更新时，缓存层增加。

第一种方法，代价太大。第二种方法，严重增加用户负担，第三种还是需要用户关心这个事情。我们将采用 第四种方法 。

对于非Web项目：

比较难解决非一致性读取的问题。因为它没有了会话这样一个概念。Apache的FileChangedReloadingStrategy Reload配置文件的方案也没有解决此问题。所以，我们打算放弃这方面的解决。但是，我们还是会提供一个简单却Ugly的解决方案： 提供函数来标识用户读取配置的边界 。用户可以放弃使用这个方案，但是我们不保证不会发生“不一致读’问题。

服务启动前，zk连接上了：

注意

ZK一般需要以集群的形式提供出来。假设有N台ZK，

disconf-client的ZK异常处理

disconf-client可以完全保证: 如果在启动程序时保证ZK集群是可用的 ，那么，就可以保证在任何情况下，与ZK集群的自动连接。

下面按情况进行分析：

程序启动前，zk连接不上

这时disconf-client无法在ZK上注册信息。这是必须禁止发生的情况。也是disconf-client无法支持的情况。

一旦发生这种情况，请先恢复ZK集群，再启动你的程序。

程序启动前，zk连接上了：

如果在程序启动过程中，ZK是正常的，那么，disconf-client可以保证与ZK连接的自动性。

注意

disconf-client必须保证在程序在启动时，ZK集群的可用性。

利用ZK来实现一个服务的注册和发现小结

一、服务的注册

1、先来安装zk,这里可以在windows环境下安装即可，我们就用一个单节点做测试。不用建集群或者伪集群

2、启动zk-server

3、在项目工程里引入 *** 作ZK的客户端框架 curator

4、通过curator的 *** 作命令来链接zk-server，并创建节点

5、进行服务提供方所提供的服务接口在第4部上所建节点进行服务接口的注册(即服务的暴露)

6、启动服务提供方的监听(用来监听消费方发送来的消息)

7、补充：服务的监听其实质还是通过ServerSockt来获取消息,但是实际当中的一些消息中间件并不会这样用。我们知道现如今高性能的IO通信框架netty已经被广泛使用，采用了同步非阻塞的设计思想，以及多路复用器来完成高并发下的网络通信

二、服务的发现

1、消费方开始调用提供方的服务接口

2、调用方式：1>可以使用jdk动态代理来调用远程方法

2>也可以自己实现一个InvocationHandler,其目的就把远程接口加载到本地，当做本地方法来使用

3、serverceLocator方式

31 服务发现步骤

32 通过curator来链接zk-server

33 访问znode是否存在

34 通过zk-api 提供PathChildrenCache、PathChildrenCacheListener来监听znode数据是否有变化

35 获取zk-server的ip+port

36 通过消费方socket来链接 zk-server 并发送消息

总结：这里的服务注册和发现 完全是用了zk的两个非常重要的特性：znode结构以及事件监听通知机制，我们可以看到

在消费方服务发现里，会有一个监听对应znode的watcher实时动态的负责监听。这里可以理解为：只要znode上有

新的服务方接口，就会通知消费方来调用

缺点：实际项目当中我们知道作为服务注册和发现的组件常用的有ZK、Eureka,而我们并不去优先考虑使用ZK,原因何在？

我们知道ZK\Eureka，这两者都是作为分布式系统当中的一种重要的分布式协调器，而我们所知的二者都满足了分布式系统

CAP理论当中的一个侧重点，ZK主要满足CP,而Euraka是满足AP,这就为ZK不能满足A而带来一定程度的影响，比如当ZK中

master节点挂掉之后，因为集群节点过多，从节点的leader选举占据了大量的时间，而导致zk的不可用，反而大大提升了

系统的风险。

优点：ZK的优点也是基于自身的特点，根据他的特点我们可以去实现一个分布式系统当中常用的 配置管理中心，这里就利用

了他的一致性特点

优化方案，如果服务提供房是一个集群，那么消费方请求可以通过负载均衡，来打到不同的节点上，以防止单一节点过载

如果是插网线的，用网线把电脑和考勤机连接，在电脑上安装考勤管理软件修改考勤机的IP地址，将考勤机的IP地址跟电脑的IP地址改到同一网段。在软件的主页面，修改设备的IP地址。改成与考勤机IP地址一样的然后点击连接。

基本内容：

中控科技是全球时间管理与安全管理系统解决方案及产品服务提供商，是全球著名的生物识别核心技术研发企业，拥有专利知识产权三百余项，利用生物识别技术推动企业级时间及安全管理行业创新与发展。

ZKTeco中控科技旗下拥有ZKSoftware、ZKAccess、ZKiVision、ZKAFIS、ZKBiolock五大品牌系列产品群，其中ZKSoftware为国际知名生物识别技术品牌。中控科技在全球民用生物识别安防市场占据大约50%的份额，在中国市场占据超过80%的份额。

如何使用

Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理，后面将会详细介绍 Zookeeper 能够解决的一些典型问题，这里先介绍一下，Zookeeper 的 *** 作接口和简单使用示例。

常用接口列表

客户端要连接 Zookeeper 服务器可以通过创建 orgapachezookeeper ZooKeeper 的一个实例对象，然后调用这个类提供的接口来和服务器交互。

前面说了 ZooKeeper 主要是用来维护和监控一个目录节点树中存储的数据的状态，所有我们能够 *** 作 ZooKeeper 的也和 *** 作目录节点树大体一样，如创建一个目录节点，给某个目录节点设置数据，获取某个目录节点的所有子目录节点，给某个目录节点设置权限和监控这个目录节点的状态变化。

业务方数据在出现错误后需要重跑数据，由于业务方没有使用MergeTree的折叠表，需要删除旧的数据后，再重新跑数据写入新的正确的数据。

之前这种模式一直运转的比较好，没有出现过问题，不过近期发现，对该表发起Alter语句时，出现了ZK Connection Loss的错误，但是对其他的表发起Alter语句没有出现相同的错误。

本文主要分析一下定位问题的过程以及确定问题所在，也希望大家就该问题进行讨论提供更好的解决方案。

Clickhouse版本：209345

表结构：

Alter语句以及响应的报错信息：

首先查看了一下clickhouse的错误日志，错误日志中有相关的堆栈信息

再查看了一下zk的错误日志

然后大致对比了一下系统的表的大小，目前出问题的表是最大的。

从上面可以看出表的数据分片很多。

分析ZK的日志发现，ZK认为客户端发送的消息格式不正确，从而主动断开了clickhouse的连接。从clickhouse的异常日志有可以看出正在执行zk *** 作时出现了连接断开的错误。

现在我们从代码层面去看看问题的根因，当clickhouse执行alter *** 作时，如果对应的mutation如果涉及到分片数据的变更时，就需要对分片进行锁定，而分片的锁定 *** 作是在对应的分片对应的zk子目录下面创建一个临时节点，如下面代码所示：

clickhouse在zk的访问中，采用了大量批量 *** 作，在上面的分片锁定 *** 作中，它针对所有影响到的分片的锁定批量一次性提交命令到zk中，而zk的传输使用了jute，jute缺省最大的包大小为1M，具体细节可以参考一下关于zookeeper写入数据超过1M大小的踩坑记。

这里clickhouse的问题在于它没有做分包，而是对所有影响的分片合并请求后，批量向zk发起请求，从而造成了超过zk最大的传输包大小，从而造成连接断开。

为什么这里需要一次性的批量提交呢？具体的原因有朋友了解的可以分享一下，我理解可能clickhouse需要做类似事务级别的保证。

知道了问题的根因首先考虑到增加zk的jute缺省的最大包大小，zookeeper本身，我们可以在配置上实现。但是我们查看了一下clickhouse的zk配置相关参数，能够调整的主要是ip、port和会话时长，没有看到jute大小的控制参数，所以这条路基本上行不通，经过只修改zk的参数重启后，测试也发现不能成功。

控制Alter DELETE影响的数据范围，从原来的Alter语句来看我们已经制定了时间的范围，但是看起来Clickhouse不会主动根据条件来做分区裁剪。查看源码也发现没有这块逻辑，但是从最新的clickhouse的文档中，我们可以看到Delete语句支持分区 *** 作。

小鸟云服务器niaoyun实例创建好之后，您可以使用以下任意一种方式登录服务器：

远程桌面连接(MicrosoftTerminalServicesClient,MSTSC)：采用这种方式登录，请确保实例能访问公网。如果在创建实例时没有购买带宽，则不能使用远程桌面连接。

管理终端VNC：无论您在创建实例时是否购买了带宽，只要您本地有网页浏览器，都可以通过管理控制台的管理终端登录实例。

使用远程桌面连接(MSTSC)登录实例

打开开始菜单>远程桌面连接，或在开始菜单>搜索中输入mstsc。也可以使用快捷键Win+R来启动运行窗口，输入mstsc后回车启动远程桌面连接。

在远程桌面连接对话框中，输入实例的公网IP地址。单击显示选项。

输入用户名，如小鸟云默认为niaoyun。单击允许我保存凭据，然后单击连接。这样以后登录就不需要手动输入密码了。

以上就是关于disconf相关问题总结-结合issue，官方文档全部的内容，包括:disconf相关问题总结-结合issue，官方文档、利用ZK来实现一个服务的注册和发现、你好我的zkteco考勤机一直连接失败，不知道是为什么等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！