5分钟搞定MySQLPostgreSQLOracle到StarRocks数据迁移同步-CloudCanal实战

CloudCanal 2.1.0.x 版本开始支持 StarRocks 作为对端的数据迁移同步能力

本文通过 MySQL->StarRocks 的数据迁移同步案例简要介绍这个源端的能力。链路特点：

StarRocks 提供了多种导入方式。CloudCanal 采用了 StreamLoad 的方式进行导入，源端的消息会转成字节流，通过 HTTP 协议发往 StarRocks。

相比直接通过 SQL 写入的方式，StreamLoad 方式会有更好的性能，写入的数据直接经 FE 转发给 BE 处理。如果直接采用 SQL 写入，在 FE 侧，会有额外的 SQL 解析开销。

CloudCanal 提供了 StreamLoad 可配置的丰富参数，包括：

过快的写入会导致 StarRocks 来不及 compaction，从而产生异常。CloudCanal 提供了两个任务参数，支持在一批数据写入后自动停顿一段时间，避免这种问题。参数为：

CloudCanal 任务详情页，点击 参数修改 ，即可调整

StarRocks 作为实时数仓，采用 主键模型 或者 聚合模型 较多。CloudCanal默认采用 主键模型 ，能够实时同步源端的 INSERT / UPDATE / DELETE 。

基于 StreamLoad 的写入方式，实际写入对端的 *** 作均为 INSERT。CloudCanal 同步时会自动将 UPDATE/DELETE 转成INSERT语句，并修改 __ops 值，StarRocks 会自动进行compaction。

StarRocks 不支持 \n 等特殊符号写入，CloudCanal 任务通过参数设置( enableEscape 参数) 开启自动转义。

对于高流量的场景，建议使用 4G 及以上的任务规格配置，并且对相关参数进行调优，调优建立在任务无 GC 问题、对端 StarRocks 没有 compaction 瓶颈的情况下。

本文简单介绍了如何使用 CloudCanal 进行MySQL到StarRocks 的数据迁移同步。各位读者朋友，如果你觉得还不错，请点赞、评论加转发吧。

默认任务参数配置下，如果导入数据过于频繁可能会任务异常，这时候可以调节上文提到的fullBatchWaitTimeMs和increBatchWaitTimeMs参数或者调整StarRocks的Server侧的合并策略。下图为StarRocks官方提供的常见问题FAQ

CloudCanal-免费好用的企业级数据同步工具，欢迎品鉴。

了解更多产品可以查看 官方网站 ： http://www.clougence.com

CloudCanal社区 ： https://www.askcug.com/

在MySQL下，在进行中文模糊检索时，经常会返回一些与之不相关的记录，如查找“%a%”时，返回的可能有中文字符，却没有a字符存在。本人以前也曾遇到过类似问题，经详细阅读MySQL的Manual，发现可以有一种方法很方便的解决并得到满意的结果。

例子：

希望通过“标题”对新闻库进行检索，关键字可能包含是中英文，如下SQL语句：

QUOTE：

select

id，title，name

from

achech_com.news

where

title

like

'%a%'

返回的结果，某些title字段确定带了“a”关键字，而有些则只有中文，但也随之返回在检索结果中。

解决方法，使用BINARY属性进行检索，如：

QUOTE：

select

id，title，name

from

achech_com.news

where

binary

title

like

'%a%'

返回的结果较之前正确，但英文字母区分大小写，故有时在检索如“Achech”及“achech”的结果是不一样的。知道了使用BINARY属性可以解

决前面这个问题，再看看MySQL支持的UCASE及CONCAT函数，其中UCASE是将英文全部转成大写，而CONCAT函数的作用是对字符进行连

接，以下是我们完全解决后的SQL语句：

QUOTE：

select

id，title，name

from

achech_com.news

where

binary

ucase(title)

like

concat('%'，ucase('a')，'%')

检索的步骤是先将属性指定为BINARY，以精确检索结果，而被like的title内容存在大小写字母的可能，故先使用ucase函数将字段内容全部

转换成大写字母，然后再进行like *** 作，而like的 *** 作使用模糊方法，使用concat的好处是传进来的可以是直接的关键字，不需要带“%”万用符，

将“'a'”直接换成你的变量，在任何语言下都万事无忧了。当然你也可以这么写：

QUOTE：

select

id，title，name

from

achech_com.news

where

binary

ucase(title)

like

ucase('%a%')

检索的结果还算满意吧，不过速度可能会因此而慢N毫秒。

一条。

mysql数据库默认情况下，mysql_query()是一次只执行一条语句。如果一次执行多条语句数据库会报语法错误（错误代码:1064）

SQL是高级的非过程化编程语言，允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法，也不需要用户了解具体的数据存放方式，所以具有完全不同底层结构的不同数据库系统, 可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套，这使它具有极大的灵活性和强大的功能。

---