AWS RDS MySQL 主从同步延迟总结

最近居然被 MySQL 主从同步的问题坑了, 简直丢尽了老司机的脸, 总结一下.

问题很简单, 一个业务由于 MySQL 主从同步延迟导致读取的数据有问题. 问题解决了, 但如何在 AWS RDS 中获取 MySQL 的延迟信息呢? 非 AWS RDS 的传统 MySQL 中, 可以直接连到 server 通过 SHOW SLAVE STATUS 获取延迟信息.

RDS 呢?

AWS 中大多数(我也不确定是不是所有服务)都接入了 Cloudwatch. Cloudwatch 的好处就是可以作为一个中间层抽象, 将不同系统的数据抽象成一个模型, 统一通过 Cloudwatch API 访问. 就拿主从延迟来说, MySQL/MariaDB 和 PostgeSQL 的计算方法显然是不一样的:

因此, 只要通过 Cloudwatch API 获取 ReplicaLag 这个 metric 的值就可以判断主从同步延迟, 不管是哪种 DB

看上去挺简单的 API, 还是需要"进城手册", 避免挠头:

由于 Cloudwatch 支持的最细颗粒度的 metric 是1分钟, 因此仅仅获取前一分钟的数据可能会有 Cloudwatch 数据还未抓取到的问题.

建议是获取前一段时间(比如10分钟)的数据, 确保前10分钟的 ReplicaLag 都为0(或者小于一个可以接受的值), 则认为现在的状态是满足数据需求的.

MySQL 主从同步从入行就知道是需要重点关注的, 结果还是忽略了一下就掉坑里了. AWS Cloudwatch 也支持根据 ReplicaLag 的值直接告警的, 建议一定要设置一个.

一、迁移Database Schema。

首先使用Sybase Powerdesigner的逆向工程功能，逆向出SQL Server数据库的物理模型。具体 *** 作是在Powerdesigner中选择“File”，“Reverse Engine”再选择Database，将DBMS选择为SQL Server

然后选择数据源，也就是要具体连接到的SQL Server数据库服务器，然后选择要逆向的数据库名，比如选中“WSS_Content_80”

单击确定即可生成物理模型图，然后单击“Database”菜单下的Change Current DBMS修改当前的DBMS，改为MySQL 5.0，单击确定后即可生成MySQL的物理模型 然后单击“Database”菜单下的“Generate Database”生成数据库脚本文件。

接下来手工修改下生成的脚本的内容。将其中的dbo.全部替换成空，将create user这样的语句删除掉。

如果有些字符在MySQL中是关键字，那么必须使用“`”（键盘上数字1左边那个符合）符合框起来。

加上MySQL所需要的存储引擎比如每个建表语句后跟上：

ENGINE = INNODB CHARACTER SET utf8 COLLATE utf8_general_ci将生成的脚本在MySQL中去运行一次即可创建数据库。

二、迁移数据内容

数据内容只能通过生成INSERT语句的方式来做。

首先使用SSMS的“生成脚本”功能（在数据库上右键，选择“任务”“生成脚本”选项），可以为SQL Server数据库中的数据生成插入脚本。

首先选择要迁移数据的表，这里我们全选所有的表

然后单击下一步，选择将脚本保存到新的查询窗口

单击“高级”选项，在高级选项窗口中选择“要编写脚本的数据的类型”为仅限数据

然后“确定”再下一步下一步即可生成INSERT脚本文件。

修改生成的脚本文件，主要有以下几项修改：

使用批量替换的方式去掉[ ]这是SQL Server的符合，在MySQL中不用这个。

使用批量替换的方式去掉dbo.

有些单词在MySQL中是关键字的，那么需要使用“`”引起来。

关于Datetime类型的数据，需要手工修改下，SQL Server默认生成的是这样的语句，在MySQL中是没办法解析的：

CAST(0x00009EEF00000000 AS DateTime)

为每一行添加一个表示一个插入语句结束。这个分号在SQL Server中可以不需要，但是在MySQL中是必须的。简单的方法是使用高级的文本编辑器（比如Notepad++），将\r\n替换为\r\n即可。

---