怎么通过java程序实现获取mysql的增量

怎么通过java程序实现获取mysql的增量,第1张

Slave I/O线程和Slave SQL线程是典型的单写单读生产者-消费者模型,是可以做到无锁设计的;因此实现思路就是Slave I/O线程在每次写完数据后,原子更新Relay Log的长度信息,Slave SQL线程读取Relay Log的时以长度信息为边界。

这样每次去读取上百万条数据,不崩掉才怪,

我的想法是,你分批去查,然后分批导出,

类似于分页,每1000 或者更多为一批

按批次去执行,然后做一个进度条,按有多少批次为进度数进行导出

这样应该会好很多

还可以做个缓存机制,按批次进行存储,下次拿数据就直接从缓存中获取


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/6772887.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-03-28
下一篇 2023-03-28

发表评论

登录后才能评论

评论列表(0条)

保存