5分钟搞定MySQLPostgreSQLOracle到StarRocks数据迁移同步-CloudCanal实战

CloudCanal 2.1.0.x 版本开始支持 StarRocks 作为对端的数据迁移同步能力

本文通过 MySQL->StarRocks 的数据迁移同步案例简要介绍这个源端的能力。链路特点：

StarRocks 提供了多种导入方式。CloudCanal 采用了 StreamLoad 的方式进行导入，源端的消息会转成字节流，通过 HTTP 协议发往 StarRocks。

相比直接通过 SQL 写入的方式，StreamLoad 方式会有更好的性能，写入的数据直接经 FE 转发给 BE 处理。如果直接采用 SQL 写入，在 FE 侧，会有额外的 SQL 解析开销。

CloudCanal 提供了 StreamLoad 可配置的丰富参数，包括：

过快的写入会导致 StarRocks 来不及 compaction，从而产生异常。CloudCanal 提供了两个任务参数，支持在一批数据写入后自动停顿一段时间，避免这种问题。参数为：

CloudCanal 任务详情页，点击 参数修改 ，即可调整

StarRocks 作为实时数仓，采用 主键模型 或者 聚合模型 较多。CloudCanal默认采用 主键模型 ，能够实时同步源端的 INSERT / UPDATE / DELETE 。

基于 StreamLoad 的写入方式，实际写入对端的 *** 作均为 INSERT。CloudCanal 同步时会自动将 UPDATE/DELETE 转成INSERT语句，并修改 __ops 值，StarRocks 会自动进行compaction。

StarRocks 不支持 \n 等特殊符号写入，CloudCanal 任务通过参数设置( enableEscape 参数) 开启自动转义。

对于高流量的场景，建议使用 4G 及以上的任务规格配置，并且对相关参数进行调优，调优建立在任务无 GC 问题、对端 StarRocks 没有 compaction 瓶颈的情况下。

本文简单介绍了如何使用 CloudCanal 进行MySQL到StarRocks 的数据迁移同步。各位读者朋友，如果你觉得还不错，请点赞、评论加转发吧。

默认任务参数配置下，如果导入数据过于频繁可能会任务异常，这时候可以调节上文提到的fullBatchWaitTimeMs和increBatchWaitTimeMs参数或者调整StarRocks的Server侧的合并策略。下图为StarRocks官方提供的常见问题FAQ

CloudCanal-免费好用的企业级数据同步工具，欢迎品鉴。

了解更多产品可以查看 官方网站 ： http://www.clougence.com

CloudCanal社区 ： https://www.askcug.com/

caching_sha2_password认证插件提供更多的密码加密方式，并且在加密方面具有更好的表现，目前MySQL 8.0选用caching_sha2_password作为默认的认证插件，MySQL 5.7的认证插件是MySQL_native_password。如果客户端版本过低，会造成无法识别MySQL 8.0的加密认证方式，最终导致连接问题。

MySQL存储引擎现在负责提供自己的分区处理程序，而MySQL服务器不再提供通用分区支持，InnoDB和NDB是唯一提供MySQL 8.0支持的本地分区处理程序的存储引擎。 如果分区表用的是别的存储引擎，存储引擎必须进行修改。要么将其转换为InnoDB或NDB，要么删除其分区。通过MySQLdump从5.7获取的备份文件，在导入到8.0环境前，需要确保创建分区表语句中指定的存储引擎必须支持分区，否则会报错。

MySQL 8.0的默认字符集utf8mb4，可能会导致之前数据的字符集跟新建对象的字符集不一致，为了避免新旧对象字符集不一致的情况，可以在配置文件将字符集和校验规则设置为旧版本的字符集和校验规则。

MySQL 8.0启动使用的lower_case_table_names值必须跟初始化时使用的一致。使用不同的设置重新启动服务器会引入与标识符的排序和比较方式不一致的问题。

< lower_case_table_names >

https://dev.mysql.com/doc/refman/8.0/en/server-systemvariables.html#sysvar_lower_case_table_names

要避免MySQL 8.0上的启动失败，MySQL配置文件中的sql_mode系统变量不能包含NO_AUTO_CREATE_USER。

从MySQL 5.7.24和MySQL 8.0.13开始，MySQLdump从存储程序定义中删除了NO_AUTO_CREATE_USER。必须手动修改使用早期版本的MySQLdump创建的转储文件，以删除NO_AUTO_CREATE_USER。

在MySQL 8.0.11中，删除了这些不推荐使用的兼容性SQL Mode：DB2，MAXDB，MSSQL，MySQL323，MySQL40，ORACLE，POSTGRESQL，NO_FIELD_OPTIONS，NO_KEY_OPTIONS，NO_TABLE_OPTIONS。从5.7到8.0的复制场景中，如果语句使用到废弃的SQL Mode会导致复制异常。

在执行到MySQL 8.0.3或更高版本的in-place升级时，BACKUP_ADMIN权限自动授予具有RELOAD权限的用户。

本文对MySQL 5.7到MySQL 8.0的升级过程中出现部分易出现问题进行整理：升级对MySQL版本的要求、升级都做了哪些内容、数据库升级做了哪些步骤以及注意事项，希望对大家版本升级有帮助。

---