Dubbo + Zookeeper 浅析

Dubbo + zookeeper 是现在比较流行的架构，也是我们行部分系统正在使用的架构，例如支撑平台。下面就介绍一下为什么要使用这个架构和这个架构的工作流程。

Dubbo使用registry进行服务注册和订阅，当我们新增生产者服务时，只需要向注册中心注册便可，不同以往，需要修改消费者的配置文件才可以实现集群的扩展。

对于开发者来说，通过dubbo的框架，消费者和生产者在使用或提供服务时，只需要在配置文件里声明要使用或提供的服务，配上注册中心的配置，便可以使用和调用对应的服务，因此在消费者一侧，无需关心要调用哪台服务器的服务，IP、URL等等信息，调用远程接口的时候也不用像传统的new一个>

分布式任务调度框架几乎是每个大型应用必备的工具，本文介绍了任务调度框架使用的需求背景和痛点，对业界普遍使用的开源分布式任务调度框架的使用进行了探究实践，并分析了这几种框架的优劣势和对自身业务的思考。

一、业务背景

11 为什么需要使用定时任务调度

（1）时间驱动处理场景： 整点发送优惠券，每天更新收益，每天刷新标签数据和人群数据。

（2）批量处理数据： 按月批量统计报表数据，批量更新短信状态，实时性要求不高。

（3）异步执行解耦： 活动状态刷新，异步执行离线查询，与内部逻辑解耦。

12 使用需求和痛点

（1）任务执行监控告警能力。

（2）任务可灵活动态配置，无需重启。

（3）业务透明，低耦合，配置精简，开发方便。

（4）易测试。

（5）高可用，无单点故障。

（6）任务不可重复执行，防止逻辑异常。

（7）大任务的分发并行处理能力。

二、开源框架实践与 探索

21 Java 原生 Timer 和

ScheduledExecutorService

211 Timer使用

Timer缺陷：

由于上述缺陷，尽量不要使用Timer， idea中也会明确提示，使用ScheduledThreadPoolExecutor替代Timer 。

212 ScheduledExecutorService使用

ScheduledExecutorService对于Timer的缺陷进行了修补，首先ScheduledExecutorService内部实现是ScheduledThreadPool线程池，可以支持多个任务并发执行。

对于某一个线程执行的任务出现异常，也会处理，不会影响其他线程任务的执行，另外ScheduledExecutorService是基于时间间隔的延迟，执行不会由于系统时间的改变发生变化。

当然，ScheduledExecutorService也有自己的局限性：只能根据任务的延迟来进行调度，无法满足基于绝对时间和日历调度的需求。

22 Spring Task

221 Spring Task 使用

spring task 是spring自主开发的轻量级定时任务框架，不需要依赖其他额外的包，配置较为简单。

此处使用注解配置

222 Spring Task缺陷

Spring Task 本身不支持持久化，也没有推出官方的分布式集群模式，只能靠开发者在业务应用中自己手动扩展实现，无法满足可视化，易配置的需求。

23 永远经典的 Quartz

231 基本介绍

Quartz框架是Java领域最著名的开源任务调度工具，也是目前事实上的定时任务标准，几乎全部的开源定时任务框架都是基于Quartz核心调度构建而成。

232 原理解析

核心组件和架构

关键概念

（1） Scheduler ：任务调度器，是执行任务调度的控制器。本质上是一个计划调度容器，注册了全部Trigger和对应的JobDetail， 使用线程池作为任务运行的基础组件，提高任务执行效率。

（2） Trigger ：触发器，用于定义任务调度的时间规则，告诉任务调度器什么时候触发任务，其中CronTrigger是基于cron表达式构建的功能强大的触发器。

（3） Calendar ：日历特定时间点的集合。一个trigger可以包含多个Calendar，可用于排除或包含某些时间点。

（4） JobDetail ：是一个可执行的工作，用来描述Job实现类及其它相关的静态信息，如Job的名称、监听器等相关信息。

（5） Job ：任务执行接口，只有一个execute方法，用于执行真正的业务逻辑。

（6） JobStore ：任务存储方式，主要有RAMJobStore和JDBCJobStore，RAMJobStore是存储在JVM的内存中，有丢失和数量受限的风险，JDBCJobStore是将任务信息持久化到数据库中，支持集群。

233 实践说明

（1）关于Quartz的基本使用

（2）业务使用要满足动态修改和重启不丢失， 一般需要使用数据库进行保存。

（3）组件化

（4）扩展

234 缺陷和不足

（1）需要把任务信息持久化到业务数据表，和业务有耦合。

（2）调度逻辑和执行逻辑并存于同一个项目中，在机器性能固定的情况下，业务和调度之间不可避免地会相互影响。

（3）quartz集群模式下，是通过数据库独占锁来唯一获取任务，任务执行并没有实现完善的负载均衡机制。

24 轻量级神器 XXL-JOB

241 基本介绍

XXL-JOB是一个轻量级分布式任务调度平台，主打特点是平台化，易部署，开发迅速、学习简单、轻量级、易扩展，代码仍在持续更新中。

主要提供了任务的动态配置管理、任务监控和统计报表以及调度日志几大功能模块，支持多种运行模式和路由策略，可基于对应执行器机器集群数量进行简单分片数据处理。

242 原理解析

210版本前核心调度模块都是基于quartz框架，210版本开始自研调度组件，移除quartz依赖 ，使用时间轮调度。

243 实践说明

详细配置和介绍参考官方文档。

2431 demo使用：

@JobHandler(value="offlineTaskJobHandler") ，实现业务逻辑即可。（注：此次引入了dubbo，后文介绍）。

（滑动可查看）

示例2：分片广播任务。

（滑动可查看）

2432 整合dubbo

（1）引入dubbo-spring-boot-starter和业务facade jar包依赖。

（滑动可查看）

（2）配置文件加入dubbo消费端配置（可根据环境定义多个配置文件，通过profile切换）。

（滑动可查看）

（3）代码中通过@Reference注入facade接口即可。

（滑动可查看）

（4）启动程序加入@EnableDubboConfiguration注解。

（滑动可查看）

244 任务可视化配置

内置了平台项目，方便了开发者对任务的管理和执行日志的监控，并提供了一些便于测试的功能。

245 扩展

（1）任务监控和报表的优化。

（2）任务报警方式的扩展，比如加入告警中心，提供内部消息，短信告警。

（3）对实际业务内部执行出现异常情况下的不同监控告警和重试策略。

25 高可用 Elastic-Job

251 基本介绍

Elastic-Job是一个分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。

Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。

Elastic-Job-Cloud使用Mesos + Docker的解决方案，额外提供资源治理、应用分发以及进程隔离等服务。

可惜的是已经两年没有迭代更新记录。

252 原理解析

253 实践说明

2531 demo使用

（1）安装zookeeper，配置注册中心config，配置文件加入注册中心zk的配置。

（滑动可查看）

（滑动可查看）

（2）配置数据源config，并配置文件中加入数据源配置。

（滑动可查看）

（滑动可查看）

（3）配置事件config。

（滑动可查看）

（4）为了便于灵活配置不同的任务触发事件，加入ElasticSimpleJob注解。

（滑动可查看）

（5）对配置进行初始化。

（滑动可查看）

（6）实现 SimpleJob接口，按上文中方法整合dubbo, 完成业务逻辑。

（滑动可查看）

26 其余开源框架

（1） Saturn ：Saturn是唯品会开源的一个分布式任务调度平台，在Elastic Job的基础上进行了改造。

（2） SIA-TASK ：是宜信开源的分布式任务调度平台。

三、优劣势对比和业务场景适配思考

业务思考：

四、结语

对于并发场景不是特别高的系统来说，xxl-job配置部署简单易用，不需要引入多余的组件，同时提供了可视化的控制台，使用起来非常友好，是一个比较好的选择。希望直接利用开源分布式框架能力的系统，建议根据自身的情况来进行合适的选型。

附：参考文献

高可用架构

改变互联网的构建方式

Dubbo是 Alibaba 开源的分布式服务框架远程调用框架，在网络间传输数据，就需要通信协议和序列化。

Dubbo支持dubbo、rmi、hessian、>

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式锁服务、集群管理、生成分布式唯一ID等。

Apache Dubbo 是一款高性能、轻量级的开源Java RPC框架，提供面向接口代理的高性能RPC调用、智能负载均衡、服务自动注册和发现、运行期流量调度、可视化服务治理和运维等功能。

作为架构师必须掌握的分布式架构技术， 你的我（雷锋）在这个星期费心费力给大家着重收集并整理了这份关于ZooKeeper+Dubbo技术栈的源码+笔记+项目实战的资料。

以上就是资料包含的内容，下面我会展示目录和详细内容截图，有需要完整版源码+笔记的朋友，只有点赞+关注，然后在我的主页私信分布式即可免费领取！！

一：Zookeeper篇

1分布式概述

2ZK概述

3分布式CAP

4一致性实现

5ZK单机&集群搭建

6ZK快速入门

7ZK源码解析

8ZK应用场景

9分布式锁和队列

二：Dubbo篇

1RPC核心

2手写RPC

3Dubbo高可用

4Dubbo IO模型

5Dubbo 架构

6源码解析

第一部分Nginx能帮我们做什么

第二部分如何编写>

程序员们都希望能通过自己的努力学习，技术提升，拿到更好的收入，技术提升和高收入虽然不是轻易就能实现的，但总是有章可循。

一个成熟的大型网站（如淘宝、京东等）的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性，它总是随着用户量的增加，业务功能的扩展逐渐演变完善的，在这个过程中，开发模式、技术架构、设计思想也发生了很大的变化，就连技术人员也从几个人发展到一个部门甚至一条产品线。所以成熟的系统架构是随业务扩展而完善出来的，并不是一蹴而就；不同业务特征的系统，会有各自的侧重点，例如淘宝，要解决海量的商品信息的搜索、下单、支付，例如腾讯，要解决数亿的用户实时消息传输，百度它要处理海量的搜索请求，他们都有各自的业务特性，系统架构也有所不同。尽管如此我们也可以从这些不同的网站背景下，找出其中共用的技术，这些技术和手段可以广泛运行在大型网站系统的架构中，下面就通过介绍大型网站系统的演化过程，来认识这些技术和手段。

一、最开始的网站架构

最初的架构，应用程序、数据库、文件都部署在一台服务器上，如图：

二、应用、数据、文件分离

随着业务的扩展，一台服务器已经不能满足性能需求，故将应用程序、数据库、文件各自部署在独立的服务器上，并且根据服务器的用途配置不同的硬件，达到最佳的性能效果。

三、利用缓存改善网站性能

在硬件优化性能的同时，同时也通过软件进行性能优化，在大部分的网站系统中，都会利用缓存技术改善系统的性能，使用缓存主要源于热点数据的存在，大部分网站访问都遵循28原则（即80%的访问请求，最终落在20%的数据上），所以我们可以对热点数据进行缓存，减少这些数据的访问路径，提高用户体验。

缓存实现常见的方式是本地缓存、分布式缓存。当然还有CDN、反向代理等，这个后面再讲。本地缓存，顾名思义是将数据缓存在应用服务器本地，可以存在内存中，也可以存在文件，OSCache就是常用的本地缓存组件。本地缓存的特点是速度快，但因为本地空间有限所以缓存数据量也有限。分布式缓存的特点是，可以缓存海量的数据，并且扩展非常容易，在门户类网站中常常被使用，速度按理没有本地缓存快，常用的分布式缓存是Memcached、Redis。

四、使用集群改善应用服务器性能

应用服务器作为网站的入口，会承担大量的请求，我们往往通过应用服务器集群来分担请求数。应用服务器前面部署负载均衡服务器调度用户请求，根据分发策略将请求分发到多个应用服务器节点。

常用的负载均衡技术硬件的有F5，价格比较贵，软件的有LVS、Nginx、HAProxy。LVS是四层负载均衡，根据目标地址和端口选择内部服务器，Nginx是七层负载均衡和HAProxy支持四层、七层负载均衡，可以根据报文内容选择内部服务器，因此LVS分发路径优于Nginx和HAProxy，性能要高些，而Nginx和HAProxy则更具配置性，如可以用来做动静分离（根据请求报文特征，选择静态资源服务器还是应用服务器）。

五、数据库读写分离和分库分表

随着用户量的增加，数据库成为最大的瓶颈，改善数据库性能常用的手段是进行读写分离以及分表，读写分离顾名思义就是将数据库分为读库和写库，通过主备功能实现数据同步。分库分表则分为水平切分和垂直切分，水平切换则是对一个数据库特大的表进行拆分，例如用户表。垂直切分则是根据业务不同来切换，如用户业务、商品业务相关的表放在不同的数据库中。

六、使用CDN和反向代理提高网站性能

假如我们的服务器都部署在成都的机房，对于四川的用户来说访问是较快的，而对于北京的用户访问是较慢的，这是由于四川和北京分别属于电信和联通的不同发达地区，北京用户访问需要通过互联路由器经过较长的路径才能访问到成都的服务器，返回路径也一样，所以数据传输时间比较长。对于这种情况，常常使用CDN解决，CDN将数据内容缓存到运营商的机房，用户访问时先从最近的运营商获取数据，这样大大减少了网络访问的路径。比较专业的CDN运营商有蓝汛、网宿。

而反向代理，则是部署在网站的机房，当用户请求达到时首先访问反向代理服务器，反向代理服务器将缓存的数据返回给用户，如果没有没有缓存数据才会继续走应用服务器获取，也减少了获取数据的成本。反向代理有Squid，Nginx。

七、使用分布式文件系统

用户一天天增加，业务量越来越大，产生的文件越来越多，单台的文件服务器已经不能满足需求。需要分布式的文件系统支撑。常用的分布式文件系统有NFS。

八、使用NoSql和搜索引擎

对于海量数据的查询，我们使用nosql数据库加上搜索引擎可以达到更好的性能。并不是所有的数据都要放在关系型数据中。常用的NOSQL有mongodb和redis，搜索引擎有lucene。

九、将应用服务器进行业务拆分

随着业务进一步扩展，应用程序变得非常臃肿，这时我们需要将应用程序进行业务拆分，如百度分为新闻、网页、等业务。每个业务应用负责相对独立的业务运作。业务之间通过消息进行通信或者同享数据库来实现。

十、搭建分布式服务

这时我们发现各个业务应用都会使用到一些基本的业务服务，例如用户服务、订单服务、支付服务、安全服务，这些服务是支撑各业务应用的基本要素。我们将这些服务抽取出来利用分部式服务框架搭建分布式服务。淘宝的Dubbo是一个不错的选择。

大型网站的架构是根据业务需求不断完善的，根据不同的业务特征会做特定的设计和考虑，本文只是讲述一个常规大型网站会涉及的一些技术和手段。

如果你还有这些疑问，成熟的网站架构师需要学什么核心技能？Java程序员如何晋升为互联网架构师？Java语言在架构搭建中扮演什么角色？怎样成为年收入几十万的架构师？欢迎来电来访昌平北大青鸟java培训。

为ThriftAdaptiveExt2类添加@Adaptive注解

下面我们带着上面的结论，看一下源码。首先我们从这句话开始讲起

下面是源码的注释

先检查有没有带SPI的注解，没有带，直接报错，从缓存中根据这个类型查询对应的ExtensionLoader，查不到就创建一个，再放入缓存中。dubbo中的spi部分大量利用了本地缓存，后续出现，不再着重讲解了。我们可以看一下他的创建该类型的ExtensionLoader的方法。

关注点有两个，第一个构造方法是私有的，说明不想通过外部实例化，将实例化的过程统一收紧。第二个是objectFactory这个在后面的ioc部分会发挥它的作用，敬请期待。好了，目前为止，ExtensionLoader<AdaptiveExt2> loader = ExtensionLoadergetExtensionLoader(AdaptiveExt2class) 说的差不多了，下面进入我们的大头getAdaptiveExtension

第一次从缓存中获取就创建

获取到适配器类的Class,利用反射创建适配器类的实例。injectExtension是dubbo的DI，依赖注入。如果适配器类有属性的set方法，会自动注入，这个后续会开一个章节进行解释。看来我们最终要关注的是getAdaptiveExtensionClass方法。大家跟紧了，大片开始了。

按照顺序来吧，看下getExtensionClasses

从缓存中取，也就是说，加载的流程只触发一次，然后放入缓存，后续从缓存取。

获取type上的SPI注解，如果里面有值赋给cachedDefaultName这个变量，相当于是个默认的值。随后从META-INF/dubbo/internal/，META-INF/dubbo/，META-INF/services/这三个路径下搜索对应的文件，什么是对应的？就是命名是这个type类的全限定名称。下面这个方法有点长，希望不要看吐，还好加了注解，希望看起来会通畅点。

路径+文件名，组成了一个具体的文件名，根据 classLoadergetResources 方法获取到Enumeration<javanetURL> 类型的对象，随后就是遍历,文件里面的格式是这样的。

如果有 # ，按照 # 分割，前面的是我们需要的业务数据，后面是注释。我们所需要的数据中如果有 = ,那么就按照 = 进行分割,前面是这个扩展的名称，后面是这个扩展的全限定类名，方便利用反射加载进来。加载进来之后会判断下是不是传入类（type）类型的实例，不是的话，报错！如果有的类上带有@Adaptive注解，那么将这个类赋值给cachedAdaptiveClass，注意这个点，查询type类型适配器类的时候会优先寻找cachedAdaptiveClass，因为是系统指定的适配器类，优先级最高，可以看下我们上面的测试三，说的就是这种情况。如果有多个实现再类上都打上了@Adaptive注解，会报错：标准的适配器类只能有一个。如果这个扩展类没有打上@Adaptive注解就更有意思了。首先第一步会验证下有没有type这个类型作为入参的构造方法，为什么要这么做？因为Wrapper，有的类型需要包装一下，例如type=Protocolclass 就会看到有DubboProtocol真实的Protocal类,还会有ProtocolFilterWrapper和ProtocolListenerWrapper这种Wrapper类，这种Wrapper类的共同点就是构造函数的入参是type类型，所以在解析的时候有这么一步。如果有这种构造函数的就是Warpper类，将这些Warpper类型的数据放到cachedWrapperClasses这个集合中缓存。如果没有这种类型的构造函数，就是正常的type类型的实例了，如果在文件中没有声明这个扩展的名称（ = 左边的部分），就会根据这个类名创建一个名称。然后进入下一个环节@Activate数据的解析，这个本来是下一节的内容，我们提前了解下吧。查看type类上有没有@Activate注解，如果有的话，将名称与注解放到cachedActivates这个Map中进行缓存。将扩展类和名称放入cachedNames这个Map中进行缓存，将名称和扩展类的class放入传递进来的extensionClasses中，最后这个extensionClasses会被返回出来被使用。OK，到目前为止我们结束了getExtensionClasses方法的讲解，是不是很绕，东西很多。再回来我们看下剩下的。

如果cachedAdaptiveClass不为空就返回，什么情况下不为空？当扩展类上打上@Adaptive注解的时候，就会将这个类直接返回。如果没有上注解，怎么办，就得自己生成了，也就是createAdaptiveExtensionClass

思路很简单，将类以字符串的形式拼接出来，然后利用编译器进行编译，返回编译后的class对象。寻找编译器的过程和具体编译的过程不是我们此次所要关心的，我们关心的是这个createAdaptiveExtensionClassCode方法创建的字符串格式的数据是啥样的，用到了哪些数据。又是一个大方法，也是要走起的，come on

首先寻找这个类中所有的方法，查看方法中有没有打@Adaptive注解的，一个没有，直接报错！对于那些没有加@Adaptive注解的方法，直接在要创建的Adaptive类上增加此方法不支持 *** 作的异常。在方法中的@Adaptive是可以加上value值的，如果用户填了，使用此值，没有填将使用程序根据类名创建的值作为value值，这个value值通URL中的参数名保持一致。defaultExtName是SPI中的value值，这里可以看一下我们的测试四的方法。最后我们看一下，他生成的String是什么样子的

将上面这个字符串编译成Class对象，作为适配器类，返回，然后实例化后，进行依赖注入需要的属性，随后缓存，备下次使用。

基本上所有类型的动态导入都是使用adaptive,使用范围极广。

dubbo-test测试源码

下一篇: Dubbo SPI 之Activate详解

END

以上就是关于Dubbo + Zookeeper 浅析全部的内容，包括:Dubbo + Zookeeper 浅析、使用spring boot构建的客户端项目wolf调用dubbo服务、分布式定时任务调度框架实践等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！

欢迎分享，转载请注明来源：内存溢出

原文地址: http://outofmemory.cn/zz/9757327.html