非对等gp集群迁移

非对等gp集群迁移,第1张

老gp:单机1maste+4p
新gp:1+2集群,4p4m
为方便 *** 作,n2n到服务器

pg_dump与pgrestore
dump为sql,太慢(dump全库一个通宵未完成,官方说一般只用来dump ddl,不dump data)
用做kettl资源库的备份还原尚可

/usr/local/greenplum-db-500/bin/gptransfer -t bigdataedwdim_date --source-map-file=seg_hosts_file -a --dest-host=17218149 --dest-database=bigdata --dest-user=gpadmin --batch-size=2 --truncate > gptranferlog

原有gptranser方式,但gp5取消了该功能,其思路:

根据此原理,开发了以下步骤,并优化去掉了scp这步:

老gp17218120:

新gp2个数据节点开启,减少数据传输,双写加快速度
17118150:

17118151:

由120写到50和51

测试本地导出txt再压缩,速度太慢:

直接导出压缩格式:
sql命令copy导出到压缩:copy to program功能
51+才提供该功能,顺便将老gp50升级到58,参考: >为了玩树莓派用尽了脑子

n2n是用来实现p2p的程序

p2p不用占用服务器资源, 网速取决于各个客户端的速度, 是内网穿透的"最佳方案"(如果稳定的话)

但是p2p并不能穿透所有的NAT, 比如NAT4目前还没有好用的穿透软件

如果你对你所在的网络自信的话建议使用一下这个软件, 运行超级简单, 几分钟就可以搞定内网穿透问题 而且不用再配置端口, 直接使用虚拟网卡ip就能访问节点

但笔者在实验之后发现n2n并不稳定, 所以就不再大篇写它了 这是相关资料:

项目地址: >

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/13236864.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-06-24
下一篇 2023-06-24

发表评论

登录后才能评论

评论列表(0条)

保存