mysql的数据变更通知方法调研

mysql-cdc-projects

以下是关于不同方法的一些基本总结

flexcdc

Flexviews中包含的CDC工具称为FlexCDC，FlexCDC是用PHP编写的。FlexCDC读取二进制日志 Binary Log以确定哪些行已经更改。因此，FlexCDC使用基于行的二进制日志（RBR）。如果没有MySQL 51或者没有使用RBR，那么可以设置一个专用的MySQL从站，它有log_slave_updates = 1和binlog_format = row来处理来自MySQL主站的SBR更改。

FlexCDC不实现完整的二进制日志解析器。而是调用“mysqlbinlog”实用程序，并处理该程序的可预测输出。

databus

从数据源中读取变化的数据，并且将这些数据序列化保存在内存中；

Maxwell是一个守护程序，一个应用程序，能够读取MySQL Binlogs然后作为JSON写入Kafka，Kinesis，RabbitMQ，Google Cloud Pub / Sub或Redis的应用程序,支持表和库过滤。

进制日志,java读取binlog

mysql-binlog-connector-java

( >

在基于了解或掌握其他同类MQ的基础知识上，怎么比较快速的掌握kafka的核心设计，确保在使用的过程中做到心中有数，做到知其然并知其所以然？本篇文章主要是笔者在已有的rmq的基础上学习kafka的思路以及过程的总结。

ps、rmq指RocketMQ

ps、文章写着写着发现有点长，应该挺乱了……

ps、因为是学习笔记，所以就这样吧，随便看看……

带着问题去学习新的技能，也许会更贴近自己原有的知识储备，也能更好的把新知识纳入自己原有的知识体系并加以补充或者延展，形成更完整的知识脉络。基于原有的rmq的知识体系，在提前梳理了几个相关的，并且浅显的问题，主要是两个方面的内容，一类是MQ模型中生产者客户端的设计与消费者客户端的设计，一类是服务端的总体架构设计。

服务端的总体架构设计

客户端的总体架构设计

相信很多人不管是在面试中，还是在做MQ选型时，都会遇到几个问题，比如Kafka在超过2k的topic时性能会急剧下降，但是rmq在超过2k的topic时性能不存大规模下降，比如Kafka是一个分布式消息队列中间件，而rmq更像一个单机版消息队列中间件等。这些问题的背后，正是两个消息中间件在架构设计上的差异性所导致的，各有优劣势，我们更多的关注设计思路。先看这几个问题。

在rmq服务端写入时，完全是基于commit log 做log append，避免了磁盘的随机读写，再配合零拷贝等技术特性，成为了MQ的高并发利器。而由于RMQ的全量日志都维护在commit log，这也是其余kafka的一个架构设计上的区别。相信初步了解过kafka的同学，都应该知道其设计理念中关于分区与副本的概念，一个topic在集群中存在多个分区，一个分区在集群中存在多个副本，不同的topic之间分区是互不关联的，当单机维护超过2k的topic时，意味着单机存在2k多个分区，即便topic内日志采用log append，那么在高并发写入刷盘时，磁头在这些分区的副本文件上移来移去，性能自然会随之下降，看起来像是‘随机读写’。

这个说法是在一个中间件爱好群里看到大家在讨论时聊到的，感觉相当有意思，这种看法背后又是怎么的逻辑呢？首先，网上能找到的二者大量的对比都是基于单机的对比，集群对比很少。从分区+副本的思路来看，kafka的部署架构看起来是多个broker组成集群，但是内部运转逻辑是分区维度的多副本间高可用，即topic在多个broker之间做高可用的保证，而副本间的运转逻辑是基于zookeeper的ZAB机制。反观rmq最开始的架构确实主从架构，看起来更简单，但是可用性的保证上完全不一样，由于所有的topic都在主节点上，主节点挂了整个集群就运转不下去了，因为只有主可以支持写，所以rmq推荐使用双主架构，后来才引入raft协议支持选举，但依旧是基于broker的选举。二者最大的区别在于，集群中某个节点挂机对于整个集群的影响程度不同，毫无疑问，rmq显得更重。同样的多节点集群中，每个kafka broker都在提供读写能力，因为不同的topic的副本散落在各个broker中，而每个topic的leader副本也会分散在整个集群中，而rmq则不同，所以理论上kafka集群能提供的吞吐量应该会比rmq更高。

从前两个问题，提到了几个很核心的概念，包括分区，副本，而这也是kafka最核心设计内容。kafka的分区这个设计很有意思（ 关于kafka分区 ），kafka的集群是一个整体，对于topic而言，分区个数相当于多少个可读写节点，一个分区下存在多个副本组成一个分布式可选主的‘集群’。

如上图，在一个kafka集群中，部署了三个服务端节点，在topic-a创建时，创建了2个分区，3个副本，在这个部署下，提供读写能力的只有broker1节点上1分区的副本，broker2节点上2分区的副本。对于部署节点broker而言并无主次之分，分区与分区间相互独立，分区内副本间组成集群为topic-a : partation-1提供服务。topic 与 分区 可以看做是逻辑概念，副本为物理概念。所以，前文提到弱化broker的概念就在于，它是基于分区提供服务，这个与rmq的设定完全不同，也许是先入为主的关系，又或者在rmq架构中broker的设定更像是mysql的主从设定，rmq的broker理解起来更简单。

那么什么是isr, asr 在说这个之前，先说说对于一条消息而言，kafka理论上应该如何在兼顾一定性能的情况下获取更高的可靠性？请求写入分区1的leader副本，就能保证数据一定不丢失吗？如果此时leader节点宕机发生选举，由于follower节点还没同步leader数据，那是不是一段时间内的数据就丢失了呢？那为了更高的可靠性，是不是可以选择等所有副本都同步到当前消息才算本次写入成功？follower节点的数据时从leader节点复制而来（此处会抽象一个很常见的水位高低的概念，但是还没详细了解，暂时忽略），那如果follower节点的数据跟leader节点的数据很接近的话，那么复制会很快完成，但是如果某个follower节点的数据落后leader的节点很多，等待完全同步需要更长的时间，毫无疑问将会引发灾难性的结果。那么，有没有一种相对均衡，可接受的方案，比如只等待落后leader节点数据量较低的follower节点成功复制就算成功？技术方案的选择往往都是取舍，特别是多副本间的数据一致性的问题。

isr集合，俗称副本同步集。kafka并非是根据副本间数据复制的偏移量来计算集合，而是根据数据同步的时间间隔（参数为 [replicalagtimemaxms](>

① 零基础大数据开发课程大纲哪里正规

这个我知道，可以去魔据，不错，一般要五个月左右，每家有所不同，而且和你的自身基础情况都有很大的关系，没基础的话五个月也就足够了。

② 培训课程开发都包括哪些步骤

行业通用步骤：

1、选题--你想解决什么问题

2、调研

3、素材准备

4、资料分析

5、课程大纲制作--核心

6、课程内容编写--关键

7、补充素材

8、PPT制作

我自己的步骤：

1、编写课程研发时间进度表（什么时候完成思路，什么时候完成大纲，什么时候完成素材的搜集及准备，什么时候完成内容编写，什么时候完成课件制作）--这是第一步，而且自认为很实用

2、思路---核心（课程的亮点在哪里？需要包含哪些内容，天马行空想到啥就写下来）

3、大纲---关键（对思路进行粗加工，进行分类整理，同时补充）

4、素材

5、内容编写

6、PPT课件制作

课程基本上是一气呵成，不拖泥带水，这样可以确保高效完成，而不是东整整，西弄弄。这是自己开发70多门课程的一点感悟，不一定适合，但可以作为借鉴。

③ IT研发项目管理培训大纲

课程主要内容：

一、 竞争环境下的项目管理

1、中国高科技行业现状与格局

2、中国项目管理有哪些问题和表现

3、水落石出的红海

4 项目管理在企业中所处的位置：做正确的事情（战略）、正确地做事（项目管理）、找合适的人做合适的事（人力资源管理）

二、项目管理概述

1 项目管理的前世今生

2主要项目管理思想及体系、模型

3 什么是项目

课堂练习识别项目和作业

4 什么是项目管理

5 三重约束的关系

6 项目生命周期的意义

课堂讨论：敏捷的迭代开发与项目生命周期的关系

7 典型的研发组织模式：职能型、项目型、矩阵式

8 矩阵式组织运作容易出现的问题和原因分析

案例分析：华为IPD组织结构

9．五个过程组的作用

10．项目管理关键的九大方面（PMP九大知识领域）

课堂研讨：项目启动时遇到的问题，如何避免“师出无名”

三、 范围管理

课堂研讨：项目计划基于何处而来？产品规划？客户需求？……多和少的后果

1 范围规划和定义

2 成功的产品开发团队具备的典型特征

3 WBS——项目计划的源头和基础

a)实例讲解研发项目中WBS度的把握

b)WBS辅助工具的使用——练习：用即时贴完成WBS

c)实景演练——手机研发项目WBS如何规划

4．范围控制手段——计划变更控制

a) 课堂研讨：变更是否都要接受？变更管理实例讲解

b) 变更控制流程

四、 时间管理

1．关于时间与进度的案例分析

2．时间管理步骤

3．基于WBS的活动定义

4．活动的排序——网络图

a) 紧前关系——活动依赖关系

b) 如何找关键路径

5．资源估算和工期估算

6．PERT中的工期三点估算法

五、 成本管理

1 成本管理过程

2．正确认识成本的三个公式

3 成本计划——项目资源的规划、估算与预算

4 成本控制工具——挣值管理法

六、 质量管理

1．正确理解什么是质量

2．质量的九大属性

3 质量管理过程——预防、保证、监控

4．质量成本的构成

案例分享——企业常见的七种浪费

5．什么是“增值活动”

6 常用质量工具——帕累托图、鱼骨图……

七、 沟通管理

1 分组游戏并解析：项目组是如何沟通的

2 沟通管理过程

案例研讨： Scrum项目如何进行有效的沟通

3 项目沟通规划

案例分享：项目沟通过程中最常见的问题

4 项目组如何进行组内沟通，如何与客户沟通，如何与高层沟通

5 项目经理的领导风格、影响力及冲突管理

八、人力资源管理

1 正确的理解人在项目中的重要性——人口、人力和人才的转换关系

案例分享——霍桑实验的意义

2．人力资源如何规划——找合适的人做合适的事

3 职责分派矩阵的应用

4 人员招募三种方式

5．团队建设工具、手段

案例分析——“一群人”和“团队”的区别，高效团队有哪些特点？

九、风险管理

1 风险和问题的区别

2 风险的定性分析

3 发生概率、影响程度

4 风险管理识别工具和方法

案例分析：风险决策工具——决策树法

5．风险监测与控制

案例分析：六顶思考帽

1 风险控制练习

中铁建败走麦城？——中铁建沙特麦加轻轨项目巨亏4153亿元

十、 综合管理

研讨：如果管理不好，世界将会怎样？

1 项目综合管理概貌

2 为什么会出现“该管的时候不管、不该管的时候乱管”

3 项目的分层实施与分层监控

4 情景化解读——SARS中的危机管理

5 项目收尾如何收尾

十一、 项目管理如何落地及见效

1、 如何搭建项目管理流程

2、 如何设定项目管理度量、评价指标

3、 演示并分享：某通信企业的研发项目管理流程及模版

4、 真实模拟公司中的一个项目如何按项目管理来实施

课程特点：

1 建立项目管理工作思维方式；

2 正确使用项目管理的技术和方法；

3 掌握项目风险控制和管理的要旨；

分享IT行业内各企业项目管理成功案例、经验和教训，通过现场互动帮助学员理清适合自己企业的项目管理思路；

王道海 企业运营、项目管理、流程管理专家、信产部认证培训讲师

信产部信息化管理师资质认证讲师、CPMP国家项目管理认证讲师

教育：北京理工大学 、项目管理PMP资质认证 、六西格玛绿带。

职务：在搜狐、北大方正、大唐移动等著名互联网企业担任项目经理、产品经理、运营总监等职位。

现任天下伐谋咨询高级合伙人，互联网研究学院院长

④ 谁那有完整的vr培训课程大纲

完整的vr培训课程大纲：

一、Unity3D程序开发基础

主要是学习1C#语法基础 2OOP（面向对象） 3网络通信 4内存管理从基础讲解C#语言，熟悉字段、属性、接口、委托、事件，掌握C#面向对象编程的核心思想。让学员掌握Unity3d各个方面的知识和基本使用方法，为后面深入的学习打下良好基础。

二、初级阶段

1U3D初识 2Unity3D开发环境使用 3物体系统，粒子系统使用 4灯光，地形系统使用 5GUI以及NGUI插件介绍 6常用组件，以及脚本绑定 7伪2D游戏的制作。熟练掌握编辑器元素包括地形、光照和阴影、 摄像机和天空盒的使用与游戏设定，物理引擎、粒子系统，输入与控制的脚本开发和GUI、NGUI插件的使用，构建网络游戏框架。

三、高级阶段

1Unity3D物体系统高级部分 2Untiy3D动画系统高级部分 3常规设计模式4动画，跟随等相关插件学习 5第1，3人称项目讲解在原来的学习基础上，深入学习Unity3D物体系统、动画系统的高级部分，例如骨骼的绑定，动画角色的创建等。配合游戏案例进行深度讲解，让你充分了解动画的制作过程。

四、跨平台发布

1IOS版发布 2安卓版发布 3网页版发布 4PC版发布掌了解不同平台的资源要求范围、资源表现形式、资源的具体优化方向和最终呈现效果，掌握客户端游戏发布、网页游戏发布、Android平台发布与上架、IiOS平台发布及上架以及其他平台发布介绍，提高成品游戏的可利用率。

五、项目实战

1设计模式 2Socket 3通信协议 4XML与SQLite 5对象池技术 6全局事件技术 7伪2D飞行类 8FPS射击类 9MMORPG学生根据自己实际情况选择对应课题或者做提供的课题，由学生自己来动手完成一个完整项目，让学生实际感受并把控整个项目，培养学生的独立思考及解决问题的能力，以快速的适应实际工作需求。

⑤ 高级大数据开发课程大纲那个最好

魔据条件不错，基础教育不错，有经验真正做到为学生负责到底，其它的，说实在的真的不敢保证。未来一定是大数据时代，现在选择还不迟，只要努力一定会有更好的发展前景，希望你能为有一个好的前程。

⑥ 大数据培训课程大纲去哪里学

大数据开发工程师课程体系——Java部分。

第一阶段：静态网页基础

1、学习Web标准化网页制作，必备的HTML标记和属性

2、学习HTML表格、表单的设计与制作

3、学习CSS、丰富HTML网页的样式

4、通过CSS布局和定位的学习、让HTML页面布局更加美观

5、复习所有知识、完成项目布置

第二阶段：JavaSE+JavaWeb

1、掌握JAVASE基础语法

2、掌握JAVASE面向对象使用

3、掌握JAVASEAPI常见 *** 作类使用并灵活应用

4、熟练掌握MYSQL数据库的基本 *** 作，SQL语句

5、熟练使用JDBC完成数据库的数据 *** 作

6、掌握线程，网络编程，反射基本原理以及使用

7、项目实战 + 扩充知识：人事管理系统

第三阶段：前端UI框架

1、JAVASCRIPT

2、掌握Jquery基本 *** 作和使用

3、掌握注解基本概念和使用

4、掌握版本控制工具使用

5、掌握easyui基本使用

6、项目实战+扩充知识：项目案例实战

POI基本使用和通过注解封装Excel、druid连接池数据库监听,日志Log4j/Slf4j

第四阶段：企业级开发框架

1、熟练掌握spring、spring mvc、mybatis/

2、熟悉struts2

3、熟悉Shiro、redis等

4、项目实战：内容管理系统系统、项目管理平台流程引擎activity，爬虫技术nutch,lucene，webService CXF、Tomcat集群 热备 MySQL读写分离

以上Java课程共计384课时，合计48天！

大数据开发工程师课程体系——大数据部分

第五阶段：大数据前传

大数据前篇、大数据课程体系、计划介绍、大数据环境准备&搭建

第六阶段：CentOS课程体系

CentOS介绍与安装部署、CentOS常用管理命令解析、CentOS常用Shell编程命令、CentOS阶段作业与实战训练

第七阶段：Maven课程体系

Maven初识:安装部署基础概念、Maven精讲:依赖聚合与继承、Maven私服:搭建管理与应用、Maven应用:案列分析、Maven阶段作业与实战训练

第八阶段：HDFS课程体系

Hdfs入门:为什么要HDFS与概念、Hdfs深入剖析:内部结构与读写原理、Hdfs深入剖析:故障读写容错与备份机制、HdfsHA高可用与Federation联邦、Hdfs访问API接口详解、HDFS实战训练、HDFS阶段作业与实战训练

第九阶段：MapRece课程体系

MapRece深入剖析:执行过程详解、MapRece深入剖析:MR原理解析、MapRece深入剖析:分片混洗详解、MapRece编程基础、MapRece编程进阶、MapRec阶段作业与实战训练

第十阶段：Yarn课程体系

Yarn原理介绍:框架组件流程调度

第十一阶段：Hbase课程体系

Yarn原理介绍:框架组件流程调度、HBase入门:模型坐标结构访问场景、HBase深入剖析:合并分裂数据定位、Hbase访问Shell接口、Hbase访问API接口、HbaseRowkey设计、Hbase实战训练

第十二阶段：MongoDB课程体系

MongoDB精讲:原理概念模型场景、MongoDB精讲:安全与用户管理、MongoDB实战训练、MongoDB阶段作业与实战训练

第十三阶段：Redis课程体系

Redis快速入门、Redis配置解析、Redis持久化RDB与AOF、Redis *** 作解析、Redis分页与排序、Redis阶段作业与实战训练

第十四阶段：Scala课程体系

Scala入门:介绍环境搭建第1个Scala程序、Scala流程控制、异常处理、Scala数据类型、运算符、Scala函数基础、Scala常规函数、Scala 类、Scala类、Scala对象、Scala特征、Scala模式匹配、Scala阶段作业与实战训练

第十五阶段：Kafka课程体系

Kafka初窥门径:主题分区读写原理分布式、Kafka生产&消费API、Kafka阶段作业与实战训练

第十六阶段：Spark课程体系

Spark快速入门、Spark编程模型、Spark深入剖析、Spark深入剖析、SparkSQL简介、SparkSQL程序开发光速入门、SparkSQL程序开发数据源、SparkSQL程序开DataFrame、SparkSQL程序开发DataSet、SparkSQL程序开发数据类型、SparkStreaming入门、SparkStreaming程序开发如何开始、SparkStreaming程序开发DStream的输入源、SparkStreaming程序开发Dstream的 *** 作、SparkStreaming程序开发程序开发--性能优化、SparkStreaming程序开发容错容灾、SparkMllib 解析与实战、SparkGraphX 解析与实战

第十七阶段：Hive课程提体系

体系结构机制场景、HiveDDL *** 作、HiveDML *** 作、HiveDQL *** 作、Hive阶段作业与实战训练

第十八阶段：企业级项目实战

1、基于美团网的大型离线电商数据分析平台

2、移动基站信号监测大数据

3、大规模设备运维大数据分析挖掘平台

4、基 于互联网海量数据的舆情大数据平台项目

以上大数据部分共计学习656课时，合计82天！

0基础大数据培训课程共计学习130天。

以上是我们加米谷的大数据培训课程大纲！

⑦ 如何开发企业培训课程

首先，从确定课程的需求、授课的对象入手。 开发课程前，先仔细考虑开发内该课程的目标是容什么？将来的听课对象是谁？他们的问题在哪里？他们对课程内容的掌握程度如何？等问题，以使你的课程开发能有的放矢。最好的方法是和将来的授课对象，以及授课对象的上司进行沟通，充分了解上述问题的答案，做到胸有成竹。

其次，要确定《课程大纲》和《时间表》。 根据前期沟通的结果，以及要求和现状之间的差距，从而确定《课程大纲》。就笔者的经验看，确定《课程大纲》时，可以参考市场上其他顾问公司提供类似课程的大纲介绍。这样可以开阔思路，取长补短。

同时，《时间表》的确定也是尤为重要的。所谓《时间表》是对整个课程各部分内容所授课时间的长短。

⑧ 5前端开发培训课程大纲是怎样的

学习HTML5，可以了解HTML5课程大纲，分阶段学习，详细的阶段学习课程阅读如下：

第一阶段：PCterminal

PC端页面重构

1、认知行业、岗位、部分专业术语，就业趋势与行业未来展望；

2、HTML5核心元素及布局应用；

3、CSS3核心属性及布局应用；

4、图形、图像软件的使用（PS,FW,AI）；

5、浏览器兼容及解决方案；

6、整合、滑动门及宽高自适应等高级应用技术；

7、初步接触JS。

PC端交互开发（原生JS）

1、javascript基础语法和变量、控制语句、循环语句、函数、事件处理、数组、常见排序算法；

2、DOM *** 作和BOM *** 作；

3、定时器、Cookie本地存储、内置对象、正则表达式、闭包、JS面向对象语法、JSON、堆栈结构；

4、Ajax动态读取数据、异步 *** 作、与DOM、JSON的结合使用；

5、各种主流浏览器兼容性处理；

6、单例、工厂、代理、观察者等设计模式；

7、ECMA60新特性介绍。

PC端交互开发 （JQuery）

1、初识jQuery、jQuery的优势、jQuery框架核心功能、最容易混淆的几个概念。

2、jQuery各种选择器的使用，及选择器的应用优化；

3、Dom节点 *** 作、插入、删除、复制、移动节点等 *** 作；

4、事件处理、事件处理模型、事件处理机制、jQuery事件封装机制、jQuery事件应用；

5、jQuery中的动画、动画时间的概念、基本动画方法、复杂动画方法、停止动画与参数说明、jQuery动画的队列问题；

6、表单开发，设计可用性表单、表单验证、增强型表单；

7、Ajax、XML>

kafka 组成 ：consumer/producter/broker

kafka和zk关系：zk存放kafka元信息，比如 topic - partition - replication- brokerIp，数据结构如树状，一层层的结构，叶子节点是brokerIp

思考：老版本的kafka，消费的偏移量也是放在zk的，新版本已经放在kafka的broker中，为什么要迁移？kafka如何记录消息偏移？消息偏移的信息存放在哪儿？

1、目前kafka支持自动提交偏移，比如设置配置 autocommitenable、autocommitintervalms；以及手动设置偏移

2、消息偏移信息存放在kafka内部的一个主题中 __consumer_offsets ,默认的分区数和副本配置是 offsettopicnumpartition、offsettopicreplicationfactor,默认值分别是50和3；

3、__consumer_offsets记录三类消息：

    1、group创建，记录元信息

    2、消费者消费偏移

        消息的结构是key-value 格式，key 值是：<consumer group id + topic + partition number> ,value 是 partition的偏移，以及一些其他后续处理的信息，如果时间戳

    3、墓碑消息，当group下的所有的consumer下线 并且 group的消费偏移都已经删除，会发送墓碑消息，会将group下的所有的消费偏移信息全部删除

4、无论是自动提交偏移还是手动提交偏移都会有大量的记录产生，长时间会占满磁盘，kafka是如何处理的？

    kafka采用Compact机制，多条同名的key，只保留最新的偏移信息；因为key同名代表某个消费分组在某个topic下的partition的偏移，保留一份即可

1、kafka 分区副本分为leader/follower 类似与mysql的主从，但是不同的是kafka leader承接所有的读写请求，follower注意任务是数据冗余和选主，不接受consumer的读写。kafka为什么要这样设计？

> 分区实现负载；如果kafka想实现负载，可以使用多分区机制，比如kafka集群有5台机器，每台机器一个broker，主题W并发高想充分利用5台服务器，可以采用 5个partition，3个replication，producer采用默认的发送机制即round robin，那么5个分区所在的5台服务器的负载是均衡的

> 优势：read my write 读自己的写，在同一个broker中进行读写，不像mysql存在数据延迟情况； 单掉读，不会出现数据读取不一致的情况，比如follower A 和 B 同步的进度不一致，consumer开始从followerA读取，因为宕机重启后从B读取，数据不一致。

2、副本leader宕机，如何在consistent 和 avaliable 做选择？

通过ISR（In Sync Replication）保存的是同步leader的副本组，进入ISR的标准是根据落后leader的时间（这点不像mysql故障转移是根据落后的位置），落后的时间根据 replicalagmaxms设置，如果在范围内，则ISA扩容加入新成员，否则缩容，减少成员；在ISR的follwer在leader宕机时可以参与选主，保证可用性，但是如果ISR没有follwer成员，说明所有的副本都落后leader的规定时间差，那么会导致不可用，这是保证CAP的C；

那么如何牺牲Consistent而确保Avaliable呢？ 

可以通过参数uncleanleaderelectionenable=true，表示落后leader的follwer可以参与选主，保证Avaliable但是缺点是会导致数据丢失，所以要在C/A中权衡。

1、生产者 压缩，但是没有 zero copy，因为要校验，过滤掉不满足要求的消息

2、生产者顺序写磁盘 ； 采用 page cache，保证Linxu安全

3、消费者顺序读，采用 page cache，实现zero copy

4、为什么page cache可以提高吞吐，它是什么，有什么机制？

- 背景：kafka只针对已提交的消息做可靠性保证，已提交的消息在broker和producer都有自己的定义

0、topic定义partition的副本数 replicationfactor > 1，数据冗余，保证partition高可用

1、producer如何保证数据不丢失：

    producer 开启重试策略，比如： 配置 retries属性 > 0

    producer acks=all, 生产者定义已提交的语意,所有的replication都成功写入才算成功

2、broker 如何避免数据不丢失：

    - broker 开启 uncleanleaderelectionenable =false ，禁止数据落后的replication 竞选leader，避免数据丢失

    - brokder 开启 mininsyncreplicas >1 ,表示消息同步几份副本才算已提交，注意 producer acks=all定义的已提交泛语意（比如之前3个replication 宕机2个，那么提交1个就算已提交），而miniinsyncreplicas = number(一般配置大于1即可) 定义的是已提交的下限。 在有replication downtime场景时作用凸显。尽量不要把mininsyncreplicas的值配置成 replicationfactor 副本数，因为一旦有副本downtime，broker将不可用，一般采用 replicationfactor = mininsyncreplicas +1

3、消费者测如何避免数据不丢失：

    - 先消费再手动commit； 避免先commit后消费

1、at most once，至多一次，如果发送失败，会丢失消息

2、at lease once，至少一次，如果出现网络抖动，发送成功了，但是因为网络抖动的原因一直没有收到响应消息，再次发送，会产生多条消息

3、exactly once

exactly once 实现

    1、生产者配置enableidempotent,实现幂等姓性生产者，实现消息只发送一次，局限是只针对单个partition / 单次会话（实现原理是，生产者会给消息增加唯一字段，broker根据唯一字段去重）

    2、如何实现多个partition/多次会话的exactly once？

        采用事物性的producter，大概需要三个步骤：

        1、enableidemponent 开启幂等性producer；

        2、为producer配置transactionid；

        3、开启事物，实现多paritition消息要么全部成功，要么全部失败。

        需要注意的是：消费者默认的消费隔离级别是： RU，需要配置isolation level 为RC

五、如何避免消息重复带来的影响？

消息幂等性，比如采用幂等性生产者、再比如消费者根据消息唯一id做消费记录，在消费消息之前做判断（消费重复性解决了，但是性能下降了，需要做具体的权衡）

1、什么情况会出现rebalence？

新增/减少consumer

新增/减少topic，比如正则表达式订阅主题，新增的主题满足正则表达式

新增/减少分区，比如修改topic ，增加/减少分区

2、rebalence的有什么优势和劣势？

优势：消费者消费分区负载均衡

劣势：rebalence时所有的消费者会被占停，如果集群的consumer group下的consumer数过多，rebalence时间会很长；现在的rebalence与partition会重新打乱，会重现发起connnect，这个缺点后续的kafka肯定会优化掉

3、如何避免rebalance

避免coordinate对consumer对下线误判， 合理对设置 sessiontimeoutms (如果consumer在指定的会话时间没有发送心跳包，coordinator会认为consumer下线，引起rebalance)； 解决思路: 设置 sessiontimeoutms 是 heartheatintervalms 的倍数，一般数 10:1

coodinator认为消费者消费能力不足引起的 rebalance，例如：consumer在 maxpollintervalms 取出N条数据，再下一个间隔时间仍然没有处理完毕。解决思路，根据consumer实际的情况设置 maxpollintervalms 参数

4、细聊rebalance的过程

背景：kafka的consumer group在coodinator有四种状态： empty、rebalance、rebalanceComplete、stable；

当consumer group 下没有consuner（比如consumer全部下线）时处于empty状态，如果empty状态超过一定当阀值，consumer group之前当位移信息会变成expire offset，coodinator会定期清理expire offset，所以当group当consumer全部下线超过一定的时间，消费偏移丢失，会出现重头开始消费情况！！！！当触发rebalance当条件时，group 会处于rebalance状态，rebalance完成进入rebalanceComplete状态

rebalance过程：触发rebalance条件时broker会像组内所有当成员响应 rebalance 心跳信息，接着所有成员会进入下面两个环节 JoinGroup 、GroupSync

JoinGroup：组的所有成员会向coodinator上报自己订阅的主题信息，并将第一个上报的consumer当作consumer leader（后面会由它来做分配），coordinator收集所有的成员要订阅的主题后，会把消息通知给consumer leader，做完分配后，发送给coodinatoer

GroupSync: 组成员将自己要订阅的信息同步至coodinator后进入GroupSync阶段，consumer会定时向coordinator发送GroupSync心跳信息包，coodinator将consumer leader分配的信息同步至组内成员，JoinGroup结束

总结：从上面可以看到，如果consumer数较少时，rebalance还是很快的，Stop The Wrold时间很短，但是当consumer数很多时，consumer不工作时间长，rebalance弊端就凸显出来了。

思考：针对某个topic，给consumer group 配置多少consumer合适？

1、假如topic 有20个partition，在consumer group下有30个consumer的时候，有效的consumer会是多少？

2、假如某个topic，partition的并发很高，积压很多消息，消费者的能力小于生产者，该如何处理？

DataSourceAPI就是如何从存储系统进行读写的相关API接口。

一般而言，DataSourceAPI应该是比较底层的API，但是这个版本的DataSourceAPI依赖了上层的API，比如SQLContext、DataFrame以及RDD等。在Spark20中，SQLContext已经被遗弃了，逐渐被SparkSession替代，同理，DataFrame也被DatasetAPI取代。但是Spark无法更新数据源API以反映这些变化。我们可以看到高层次的API随着时间的推移而发展。较低层次的数据源API依赖于高层次的API不是一个好主意。如果我们想添加其他优化，比如添加limiy优化，那么我们需要添加其他接口：

buildScan(limit)

buildScan(limit,requiredCols)

buildScan(limit,filters)

buildScan(limit,requiredCols,filters)

缺乏对列式存储读取的支持从上面的buildScanAPI可以看出，Spark数据源进支持以行式的形式读取数据。即使Spark内部引擎支持列式数据表示，它也不会暴露给数据源。但是我们知道使用列式数据进行分析会有很多性能提升，所以Spark完全没必要读取列式数据的时候把其转换成行式，然后再再Spark里面转换成列式进行分析。缺乏分区和排序信息物理存储信息（例如，分区和排序）不会从数据源传递到Spark计算引擎，因此不会在Spark优化器中使用。这对于像HBase/Cassandra这些针对分区访问进行了优化的数据库来说并不友好。在DataSourceV1API中，当Spark从这些数据源读取数据时，它不会尝试将处理与分区相关联，这将导致性能不佳。写 *** 作不支持事务当前的写接口非常通用。它的构建主要是为了支持在HDFS等系统中存储数据。但是像数据库这样更复杂的Sink需要更多地控制数据写入。例如，当数据部分写入数据库并且作业出现异常时，Spark数据源接口将不会清理这些行。这个在HDFS写文件不存在这个问题，因为写HDFS文件时，如果写成功将生成一个名为_SUCCESS的文件，但是这种机制在数据库中是不存在的。在这种情况下，会导致数据库里面的数据出现不一致的状态。这种情况通常可以引入事务进行处理，但是DataSourceV1版本不支持这个功能。不支持流处理越来越多的场景需要流式处理，但是DataSourceAPIV1不支持这个功能，这导致想Kafka这样的数据源不得不调用一些专用的内部API或者独自实现。正是因为DataSourceAPIV1的这些缺点和不足，引入DataSourceAPIV2势在必行。DataSourceAPIV2为了解决DataSourceV1的一些问题，从ApacheSpark230版本开始，社区引入了DataSourceAPIV2，在保留原有的功能之外，还解决了DataSourceAPIV1存在的一些问题，比如不再依赖上层API，扩展能力增强。

以上就是关于mysql的数据变更通知方法调研全部的内容，包括:mysql的数据变更通知方法调研、「开源」数据同步ETL工具，支持多数据源间的增、删、改数据同步、从rocketmq到kafka等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！