阿里出品otter-同步数据量6亿涉及200+个数据库实例之间的同步

阿里出品otter-同步数据量6亿涉及200+个数据库实例之间的同步,第1张

otter已在阿里云推出商业化版本 数据传输服务DTS, 开通即用,免去部署维护的昂贵使用成本。DTS针对阿里云RDS、DRDS等产品进行了适配,解决了Binlog日志回收,主备切换、VPC网络切换等场景下的同步高可用问题。同时,针对RDS进行了针对性的性能优化。出于稳定性、性能及成本的考虑,强烈推荐阿里云用户使用DTS产品。DTS产品使用文档

阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,由此诞生了otter这样一个产品。

otter第一版本可追溯到04~05年,此次外部开源的版本为第4版,开发时间从2011年7月份一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。

名称:otter ['ɒtə(r)]

译意: 水獭,数据搬运工

语言: 纯java开发

定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统

原理描述:

1. 基于Canal开源产品,获取数据库增量日志数据。 什么是Canal, 请点击

2. 典型管理系统架构,manager(web管理)+node(工作节点)

a. manager运行时推送同步配置到node节点

b. node节点将同步状态反馈到manager上

3. 基于zookeeper,解决分布式状态调度的,允许多node节点之间协同工作.

阿里云云数据库的每日读取上限是有区别的,不同类型的数据库实例读取上限也不同。下面是一些常见的阿里云云数据库类型的每日读取上限:

- MySQL 的标准版和高可用版:每日读取上限为 100 万次

- SQL Server 标准版:每日读取上限为 130 万次

- PostgreSQL 的云版和专业版:每日读取上限为 200 万次

- MongoDB 副本集实例和分片实例:每日读取上限为 300 万次

需要注意的是,上述数字属于默认配置,在购买阿里云云数据库时,您可以根据自己的需求和实际情况,修改每日读取上限。因此,不同用户的每日读取上限可能会存在差异。

如果您需要了解自己所购买的阿里云云数据库类型的每日读取上限,可以在阿里云数据库管理控制台中查看该实例的相关信息,或者联系阿里云客服进行咨询。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/6775018.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-03-28
下一篇 2023-03-28

发表评论

登录后才能评论

评论列表(0条)

保存