mysql的数据变更通知方法调研

以下是关于不同方法的一些基本总结

flexcdc

Flexviews中包含的CDC工具称为FlexCDC，FlexCDC是用PHP编写的。FlexCDC读取二进制日志 Binary Log以确定哪些行已经更改。因此，FlexCDC使用基于行的二进制日志（RBR）。如果没有MySQL 5.1或者没有使用RBR，那么可以设置一个专用的MySQL从站，它有log_slave_updates = 1和binlog_format = row来处理来自MySQL主站的SBR更改。

FlexCDC不实现完整的二进制日志解析器。而是调用“mysqlbinlog”实用程序，并处理该程序的可预测输出。

databus

从数据源中读取变化的数据，并且将这些数据序列化保存在内存中；

Maxwell是一个守护程序，一个应用程序，能够读取MySQL Binlogs然后作为JSON写入Kafka，Kinesis，RabbitMQ，Google Cloud Pub / Sub或Redis的应用程序,支持表和库过滤。

进制日志,java读取binlog

mysql-binlog-connector-java

( http://www.phpabc.cn/yi-gou-shu-ju-ku-biao-zai-xian-tong-bu.html )

主要有以下几个概念：

BinaryLogClient，使用binlog的客户端

Event，数据增删改查等都被抽象为一个事件

EventListener，事件监听者，当事件发生时得到通知

EventFilter，事件过滤器，这样EventListener就可以只监听符合条件的事件

使用mysql-binlog-connector-java的方法

有时候我们会不小心对一个大表进行了 update，比如说写错了 where 条件......

此时，如果 kill 掉 update 线程，那回滚 undo log 需要不少时间。如果放置不管，也不知道 update 会持续多久。

那我们能知道 update 的进度么？

实验

我们先创建一个测试数据库：

快速创建一些数据：

连续执行同样的 SQL 数次，就可以快速构造千万级别的数据：

查看一下总的行数：

我们来释放一个大的 update：

然后另起一个 session，观察 performance_schema 中的信息：

可以看到，performance_schema 会列出当前 SQL 从引擎获取的行数。

等 SQL 结束后，我们看一下 update 从引擎总共获取了多少行：

可以看到该 update 从引擎总共获取的行数是表大小的两倍，那我们可以估算：update 的进度 = (rows_examined) / (2 * 表行数)