mysql 按 字段导出多个文件。

mysql 按 字段导出多个文件。,第1张

你是要SQL查询语句还是要PHP程序啊,

insert into 总表

values(select *

from 表1,表2,表3,表n)

这是SQL,要是PHP程序就更好说了,用个循环就KO了!

看到你的追问。数据库是20W级别的。

如果用O(n^2)的更新是肯定超时的。

计算次数是20W*20W*字符长度

我给你提个O(n)的思路,不过要用程序实现,SQL没机会。HQL或许有,但是不会。

首先是把A,B表中的都读到内存。

然后做哈希,开个10^10布尔类型的数组,1G内存多点,2G肯定够用。

然后做A表的哈希,

做好后遍历B表,做哈希。重复的做标记。

完成一轮后使用令一套保证跟第一次哈希不重复的哈希算法再遍历一次标记过的B表,

再遍历A表。

如此只需分别遍历两次AB表,即可完成查重。

然后把B表中重复的删掉即可。

计算机的执行效率大约是每秒10000*10000次。

如果把AB表中的string型主键转成int型存储,然后再做比对

大约是20W*20W*2的比对次数,那么800秒,就是20到40分钟。

都应该可以比对完,但是如果是如题描述的12位字符。就需要几个小时甚至几天了。

再说一种O(Nlog2N)的算法。

首先是对A,B进行合并,然后做快排序。

然后遍历一次进行顺序查重。

这种方法用的内存比较少,计算量是40W*100,基本上10秒内都能出结果。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/7401116.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-05
下一篇 2023-04-05

发表评论

登录后才能评论

评论列表(0条)

保存