PGconf.Aisa 2021 主题分享:Greenplum 数据的迁移与同步

PGconf.Aisa 2021 主题分享:Greenplum 数据的迁移与同步,第1张

PGconf.Aisa 2021 主题分享:Greenplum 数据迁移与同步



2021年12月14日-17日,PostgresConf.CN & PGconf.Aisa 2021大会通过云端盛大召开。在大会上,来自Greenplum中文社区的技术专家阿福分享了《Greenplum数据迁移与同步》主题演讲。


本次《Greenplum数据迁移与同步》的主要演讲内容包含了四个部分,阿福 从工程的角度出发,阐述了在真实情况下将其他类型数据库迁移到Greenplum的过程,并在中间穿插了一些技术逻辑和建议。


Greenplum基础架构梳理

数据迁移与同步逻辑

如何从Oracle快速迁移数据

如何有效校验数据一致性


首先,阿福带大家一起回顾了Greenplum的基础架构。Greenplum是基于PostgreSQL的开源分布式数据库,底层由一组组PostgreSQL实例作为基础元素。 当前的Greenplum数据库集群,对外提供唯一访问入口Master,相对于应用而言,Greenplum是一个统一的、功能完备的、标准SQL支持的、具有ACID特性的数据库; 在集群内部,Greenplum为了追求更好的分布式特性,做了大量优化,包括分布式死锁检测、网络层优化等,并提供一副本机制来保障数据库高可用。 限于本次分享主题为数据迁移与同步,阿福在第一部分演讲内容的最后带大家了解了Greenplum当前支持的数据入库方式,并向大家简单介绍了性能最好的gpfdist入库逻辑。

在熟悉了Greenplum整体架构后,阿福对生产数据迁移的过程进行了逻辑性阐述,整个过程分为8大部分,包括:


    应用和数据库可迁移性评估;

    规划迁移到Greenplum的过程;

    模式转换:数据类型映射,表结构迁移;

    函数/存储过程的迁移;

    应用程序SQL语句适配;

    迁移数据到Greenplum;

    应用测试;

    生产切换。

在分享的最后部分,分别进行了案例讲解及一致性校验逻辑的分享。案例讲解部分,介绍了通过copy方式进行数据迁移的小工具sqldata和通过sqluldr2+gpfdist从Oracle完成大容量数据迁移时的注意事项及执行步骤;一致性校验部分,介绍了数据校验的集中常用方法,其中一致性最高的校验方法当属MD5校验。


点击链接,观看完整演讲



点击文末“ 阅读原文 ”,获取Greenplum中文资源。


来一波 “在看”、“分享” 和 “赞” 吧!


本文分享自微信公众号 - Greenplum中文社区(GreenplumCommunity)。
如有侵权,请联系 [email protected] 删除。
本文参与“ OSC源创计划 ”,欢迎正在阅读的你也加入,一起分享。

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/5705182.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)