当接到这个需求的时候并没当回事，隐约有点印象 pt-table-checksum 能通过 dsn 实现 MySQL 的数据校验，所以当时就应承下来了。不曾想，啪啪打脸，回想起来真是草率了。
本文参考的是 pt-table-checksum 的校验逻辑，基于数据块去遍历每个表，然后比对 checksum 的值判断该块是否一致，本文主要是想聊聊我在实现数据校验脚本过程中遇到的问题以及解决思路，希望对大家有帮助。
利用线上的配置文件搭建一套主从环境。
这个用例将通过 dsn 方式连接从库。
这个用例将通过 dsn 方式连接从库，但是会将从库的复制链路 stop 掉，并清空复制信息。
熟悉 pt-table-checksum 的朋友应该都知道，该工具是基于主键(非空唯一键)进行扫描数据行，其实这个逻辑针对整型单列主键实现起来很简单，但是如果是联合主键且是字符型，好像就没那么简单了，有兴趣的可以思考一下。下面我先说一下大致的逻辑：
第一步：判断 _min_rowid 是否为空，为空就取该表的第一行，并记作 _min_rowid 。
第二步：根据 _min_rowid 作为条件进行扫描该表，取下一个数据块的数据，记录数据块的最后一行数据的主键值，记录 checksum 的值，并记下 _min_rowid 。
第三步：判断_min_rowid是否为空，非空重复第二步，为空退出检查。
通过上述三个步骤可以看到，如果是单列整型的主键，实现起来很简单，但是问题来了，业务的表的主键五花八门，有的是联合主键，有的是字符型的联合主键，还有整型+字符型的联合主键，那么上述的实现方式显然是有问题的。所以实现起来需要多考虑几个问题：
鉴于存在上述两个问题，可以参考如下实现逻辑：
假如有这么一个联合主键字段 primary key(a,b,c) 都是整型，该如何编写遍历 sql 呢？起初我的想法很简单，具体如下：
至此在编写校验脚本过程遇到的两个问题就算告一段落了，剩下的就是各种逻辑处理了，不过多赘述，有兴趣的可以自行阅读脚本文件。
本着最低程度影响业务，所以取消加锁逻辑。但是又要保证该数据块的数据一致性，如果这个数据块是个热数据，当前正在变更，那么校验的时候难免会不一致。所以只能通过多次校验实现，默认是校验20次，其中有一次校验结果是一致，就认为是一致的，如果前5次校验过程中，这个数据块的数据没有变化，也视为不一致（可能是因为延迟，也可能是真的不一致）。
pt-table-checksum 不校验表结构，改写时添加表结构的校验。
可以基于表的并行校验，可由用户指定并行数，但是脚本有个安全机制，如果用户指定的并行数大于当前 cpu 空闲核心数，就会按当前（空闲核心数-1）作为并行数。
添加网络监控，由用户指定网络上限百分比，当网卡流量超过这个百分比就暂停任务，等待网卡流量低于阈值才会继续任务。这个主要是出于对于中间件（mycat）的场景或者分布式数据库（tidb）的场景。
支持定时任务功能，用户可以使用这个功能规避业务高峰，仅在业务低峰进行数据校验。
不仅限于主从节点的校验，只要目标对象支持 MySQL 的标准 SQL 语法就能做数据校验。
校验逻辑是通过 SQL 采集目标节点的数据库，如果目标数据库系统当前存在异常，无疑是雪上加霜，将会触发未知问题，所以添加超时机制，单次取数据块的阈值是5s，超过5秒就放弃等待重试。测试发现，有时候即便触发超时了，但是 SQL 任务还是会在目标数据库的 processlist 中能看到，所以又添加了一个 kill 机制，超时后会触发一个 kill processlist id 的动作。另外为了避免 kill 错，在每个 SQL 对象添加了一个32位的 md5 值，每次 kill 的时候会校验这个 md5 值。
本工具借鉴 pt-table-checksum 工具思路改写，可以检查随意两个 mysql（支持 mysql sql 语法的数据库）节点的数据一致性。
基于主键以一个块遍历数据表，比对checksum的值，块的大小可通过参数指定。 （1）获取该表的第一个数据块的查询SQL。 （2）将两个目标节点的数据块的checksum的值，记录到临时文件，file1 file2。 （3）比对file1 file2是否一致。
第一步：先开启一个 screen 监控网络
第二步：新开启一个screen执行校验任务
（1）info.log 文件
（2）list目录
（3）md5 目录
（4）pri 目录
（5）res 目录
这是 table 目录下记录某个数据块不一致的一个例子
这是 diff 目录下记录某个数据行不一致的一个例子
（6）skip.log 文件
本工具是参考了 pt-table-checksum 工具的一些思路并结合自身经验进行改写，尚有很多不足之处，仅做学习交流之用， 如有线上环境使用需求，请在测试环境充分测试。
大家都知道 MySQL 是最流行的关系型数据库管理系统 ，很具有实用性，对于我们学习很多技术都有帮助，由于我们会经常地使用到它，那么我们就要先学会它的安装， 首先我们要在MySQL官网上下载好自己所需要的版本，这里给大家分享的安装教程是MySQL 5.5.62.0版本，下面的教程是一步一步进行的截图，按照下面的图集所示，安装绝对没有问题。
第一步：双击打开MySQL安装包。
第二步：选择laceept the license tems，点击Next进入下一步。
第三步：选择Custom（Manually sellect the products thatshoulld be installledl on the syslem）自定义安装；点击Next进入下一步。
第五步：
1.双击后不要动里面的选项。
2.出现后点击选择安装路径建议不要安装在C盘!
第六步：
1.我安装的路径在E盘。
2.设置好点击OK。
第七步：直接点击Next进入下一步。
第八步：点击Execute进入下一步。
第九步：
1.出现这个才是正确的。
2.点击Next进入下一步。
第十步：直接点击Next进入下一步。
第十一步：
1.选择 Standalone MySQL Server / Classic MySQL Replication
2.点击Next进入下一步。
第十二步：直接点击Next进入下一步。
第十三步：直接点击Next进入下一步。
第十四步：
1.输入密码：root 【这里建议大家不要设置麻烦的密码，通常密码使用root即可】。
2.点击Next进入下一步。
第十五步：直接点击Next进入下一步。
第十六步：点击Execute进入下一步。
第十七步：
1.全部出现对勾说明安装正确
2.点击Finish进入下一步。
第十八步：直接点击Next进入下一步。
第十九步：大功告成，点击Finish按钮退出闭关修炼即可。
第二十步：
打开MySQL 5.7 Command Line Client或者MySQL 5.7 Command Line Client - Unicode快捷方式，输入密码root进行验证进入。
第二十一步：出现以下画面说明验证成功，谢谢观看，告辞!
1. checksum table.
checksum table 会对表一行一行进行计算，直到计算出最终的 checksum 结果。
比如对表 n4 进行校验（记录数 157W，大小为 4G）
我自己笔记本上的测试结果，速度挺快。
不过checksum的限制比较多。罗列如下，
A、不能对视图进行校验。
B、字段顺序不同，校验结果也会不一致。
C、CHAR(100) 和 VARCHAR(100) 存储相同的字符，校验结果也会不一致。
D、在执行 checksum 同时，会对表所有行加共享读锁。
E、还有就是 MySQL 版本不同，有可能校验结果不一致。比如手册上说的， MySQL 5.6.5 之后的版本对时间类型的存储格式有变化，导致校验结果不一致。
那 checksum 的 限制这么多，我们是不是有其方法来突破所有限制呢？ 比如说可以模拟 checksum table 的原理来手工计算。
2. 自己计算 checksum 值。
这里用了 MySQL 自身的几个特性：session 变量；通用表达式；窗口函数以及 MySQL 的 concat_ws 函数。实现非常简单。
比如我们用 sha 函数来计算校验值。
如果在 MySQL 老版本运行，可以利用 MySQL 的黑洞引擎，改下 SQL 如下：
对于表要计算校验数据一致性的需求，首选第二种自己写 SQL 的方法。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）