5分钟搞定MySQLPostgreSQLOracle到StarRocks数据迁移同步-CloudCanal实战

CloudCanal 2.1.0.x 版本开始支持 StarRocks 作为对端的数据迁移同步能力

本文通过 MySQL->StarRocks 的数据迁移同步案例简要介绍这个源端的能力。链路特点：

StarRocks 提供了多种导入方式。CloudCanal 采用了 StreamLoad 的方式进行导入，源端的消息会转成字节流，通过 HTTP 协议发往 StarRocks。

相比直接通过 SQL 写入的方式，StreamLoad 方式会有更好的性能，写入的数据直接经 FE 转发给 BE 处理。如果直接采用 SQL 写入，在 FE 侧，会有额外的 SQL 解析开销。

CloudCanal 提供了 StreamLoad 可配置的丰富参数，包括：

过快的写入会导致 StarRocks 来不及 compaction，从而产生异常。CloudCanal 提供了两个任务参数，支持在一批数据写入后自动停顿一段时间，避免这种问题。参数为：

CloudCanal 任务详情页，点击 参数修改 ，即可调整

StarRocks 作为实时数仓，采用 主键模型 或者 聚合模型 较多。CloudCanal默认采用 主键模型 ，能够实时同步源端的 INSERT / UPDATE / DELETE 。

基于 StreamLoad 的写入方式，实际写入对端的 *** 作均为 INSERT。CloudCanal 同步时会自动将 UPDATE/DELETE 转成INSERT语句，并修改 __ops 值，StarRocks 会自动进行compaction。

StarRocks 不支持 \n 等特殊符号写入，CloudCanal 任务通过参数设置( enableEscape 参数) 开启自动转义。

对于高流量的场景，建议使用 4G 及以上的任务规格配置，并且对相关参数进行调优，调优建立在任务无 GC 问题、对端 StarRocks 没有 compaction 瓶颈的情况下。

本文简单介绍了如何使用 CloudCanal 进行MySQL到StarRocks 的数据迁移同步。各位读者朋友，如果你觉得还不错，请点赞、评论加转发吧。

默认任务参数配置下，如果导入数据过于频繁可能会任务异常，这时候可以调节上文提到的fullBatchWaitTimeMs和increBatchWaitTimeMs参数或者调整StarRocks的Server侧的合并策略。下图为StarRocks官方提供的常见问题FAQ

CloudCanal-免费好用的企业级数据同步工具，欢迎品鉴。

了解更多产品可以查看 官方网站 ： http://www.clougence.com

CloudCanal社区 ： https://www.askcug.com/

出来怎么办

mysql中数据导不出来怎么办_mysql挂掉了，无法导出数据，data文件如何恢复？

三十六陂

原创

关注

0点赞·1246人阅读

问题描述的不是非常清楚

1 mysql挂掉，还能启动吗？

2 死活不肯导出数据>>是指用什么样的方式不能导出？报什么错？

一 假定mysql可以启动，逻辑导出时报错。 这个问题就相对简单，解决逻辑导出的问题即可。对于不同的逻辑导出错误，采取不同的方法解决。

二 假定mysql不可启动，那要看启时的时候报什么错误，对于不同的错误，采取不同的方法

三 最坏的打算，mysql不可启动，并且不能解决db启动的问题。

可以先尝试下面的方法：

copy所有datadir下的文件到目标机，启动数据库，如果可以正常启动，启动后执行mysql_upgrade即可

如果上面方法不行，那就只是数据文件还在，什么 *** 作也执行不了。

那就要放大招了。

对于myisam引擎的表：在目标机上初始化好数据库之后，copy相应的.frm .MYI .MYD三个文件到相应的目录，设置好文件权限，就可以查看表里的数据，也就是说myisam表已经恢复了。

对于innodb引擎的表(独立表空间)：

使用传输表空间的方式恢复数据：

1 先得到建表语句(建表语句一般都会有，比如业务存着的表结构，退一步如果没有建表语句，也可以进行恢复)

2 在目标机上建好表

3 alter table discard tablespace

4 5.6版本以下才需要(5.6以上版本不care tablespace_id) vim .ibd

5 alter table import tablespace

就可以恢复innodb表里的数据。

innodb比myisam恢复起来麻烦一些，是因为innodb在ibdata中记录的有表结构。

数据完整性是一个DBA最基本的必须完成的，使用ucloud(UCloud – 专业云计算服务商)用户可以不必考虑数据的丢失

ucloud每天会对数据进行备份，如果备份没有成功，会告警给用户，并协助用户解决不能成功备份的问题。这样每天都能成功的备份，也就不用考虑异常恢复的场景了。

对于数据文件还在异常恢复db的场景相对简单。

对于文件已经不存在的，如drop table,drop database 也可以把数据恢复出来(没有备份也可以恢复)，只是过程麻烦些。收费高些。

使用Ucloud(UCloud – 专业云计算服务商)的 mysql数据库，可以免费的享受数据在不同场景下的恢复。

曾免费帮助ucloud用户恢复在云主机上部署的mysql数据库。

Navicat官网有很多关于Navicat cloud的使用教程，不妨参考下。

Navicat Cloud 如何进行协同合作

Navicat Cloud 协作连接设置、查询和模型，为你的团队提供一个中央空间，可以邀请你的同事加入到你的项目中，他们可以一起创建和编辑文件，及时自动同步所有改变和新添加的文件，所有项目成员都能获取最新的文件，令你的团队保持生产力和高效地进行协作。

成员角色

Navicat Cloud 能让你为每一个项目分配角色给相关的同事，根据他们的角色授予相应的访问权限，每个角色决定了他们是否能够创建、查看和修改项目文件，你可以安全地与大家共享你的项目，还可以控制谁能查看和编辑项目。

● 拥有者：拥有者是创建项目的负责人，并在项目中拥有所有权限，只有项目负责人可以删除该项目。

● 管理者：管理者的职责是负责处理项目的管理事项，能完整的读写访问他们的项目，包括添加或者删除项目成员和改变项目成员角色的能力。

● 成员：成员是一个可读取和写入所有项目的项目成员，建议使用这个角色作为所有成员的默认角色，并根据需要分配其他角色。

● 客人：客人是项目的基本成员，只有读取所有文件的权限，此角色适合需要跟进并不需要编辑项目的成员。

共享

只有你的团队成员能访问查询你放在 Navicat Cloud 云服务的模型，使你能轻松地在任何设备上与你的团队成员实时保存、协作和共享这些文件，可以在 Navicat Cloud 访问到最新的文件，而不会丢失数据，使所有团队成员能顺利地一起完成工作。

教程索引自：http://www.formysql.com/jiqiao/yun-xiezuo.html

---