技术分享 | mysql 表数据校验

1. checksum table.

checksum table 会对表一行一行进行计算，直到计算出最终的 checksum 结果。

比如对表 n4 进行校验（记录数 157W，大小为 4G）

我自己笔记本上的测试结果，速度挺快。

不过checksum的限制比较多。罗列如下，

A、不能对视图进行校验。

B、字段顺序不同，校验结果也会不一致。

C、CHAR(100) 和 VARCHAR(100) 存储相同的字符，校验结果也会不一致。

D、在执行 checksum 同时，会对表所有行加共享读锁。

E、还有就是 MySQL 版本不同，有可能校验结果不一致。比如手册上说的， MySQL 5.6.5 之后的版本对时间类型的存储格式有变化，导致校验结果不一致。

那 checksum 的 限制这么多，我们是不是有其方法来突破所有限制呢？ 比如说可以模拟 checksum table 的原理来手工计算。

2. 自己计算 checksum 值。

这里用了 MySQL 自身的几个特性：session 变量；通用表达式；窗口函数以及 MySQL 的 concat_ws 函数。实现非常简单。

比如我们用 sha 函数来计算校验值。

如果在 MySQL 老版本运行，可以利用 MySQL 的黑洞引擎，改下 SQL 如下：

对于表要计算校验数据一致性的需求，首选第二种自己写 SQL 的方法。

现象

一线的工程师反映了一个奇怪的现象，刚刚从 MySQL 官网上下载了一个 MySQL 5.7.31。安装完成后，发现使用任何密码都能登陆 MySQL，修改密码也不管用，重新启动 MySQL 也不能解决。

分析

怀疑使用了 --skip-grant-tables 使用 mysqld --print-defaults 检查，没有发现。

检查登陆用户，都是 root@localhost，说明和 proxy user 没有关系。

使用 mysql --print-defaults 检查客户端是否设置默认的用户和密码，没有发现。

发现一切都正常，再检查 plugin 字段，发现只有 root 用户是 auth_socket ，其它的用户都是 mysql_native_password，问题可能就出在这儿。

问题解决

对 auth_socket 验证插件不了解，感觉是这个插件不安全，使用下面的命令修改后，问题解决：

update user set plugin="mysql_native_password" where user='root'

auth_socket 验证插件的使用场景

问题解决后，又仔细研究了一下 auth_socket 这个插件，发现这种验证方式有以下特点：

首先，这种验证方式不要求输入密码，即使输入了密码也不验证。这个特点让很多人觉得很不安全，实际仔细研究一下这种方式，发现还是相当安全的，因为它有另外两个限制；

只能用 UNIX 的 socket 方式登陆，这就保证了只能本地登陆，用户在使用这种登陆方式时已经通过了 *** 作系统的安全验证；

*** 作系统的用户和 MySQL 数据库的用户名必须一致，例如你要登陆 MySQL 的 root 用户，必须用 *** 作系统的 root 用户登陆。

auth_socket 这个插件因为有这些特点，它很适合我们在系统投产前进行安装调试的时候使用，而且也有相当的安全性，因为系统投产前通常经常同时使用 *** 作系统的 root 用户和 MySQL 的 root 用户。当我们在系统投产后， *** 作系统的 root 用户和 MySQL 的 root 用户就不能随便使用了，这时可以换成其它的验证方式，可以使用下面的命令进行切换：

ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'test'

---