具有8000万条记录的表并添加索引需要超过18个小时(或永远)!怎么办?

具有8000万条记录的表并添加索引需要超过18个小时(或永远)!怎么办?,第1张

具有8000万条记录的表并添加索引需要超过18个小时(或永远)!怎么办?

好吧,事实证明,这个问题不仅仅是一个简单的创建表,为索引编入索引而忘记的问题:)这是我做的,以防其他人遇到相同的问题(我使用了IP地址示例,但它可以解决其他问题)数据类型):

问题:您的表有数百万个条目,您需要非常快速地添加索引

用例: 考虑在查找表中存储数百万个IP地址。添加IP地址应该不是什么大问题,但是在IP地址上创建索引要花费14个小时以上。

解决方案
:使用MySQL的分区策略对表进行分区

情况#1:尚未创建所需的表时

CREATE TABLE IPADDRESSES(  id INT UNSIGNED NOT NULL AUTO_INCREMENT,  ipaddress BIGINT UNSIGNED,  PRIMARY KEY(id, ipaddress)) ENGINE=MYISAMPARTITION BY HASH(ipaddress)PARTITIONS 20;

情况2:所需的表已创建时。 似乎有一种方法可以使用ALTER
TABLE来执行此 *** 作,但是我还没有找到合适的解决方案。相反,有一个效率稍低的解决方案:

CREATE TABLE IPADDRESSES_TEMP(  id INT UNSIGNED NOT NULL AUTO_INCREMENT,  ipaddress BIGINT UNSIGNED,  PRIMARY KEY(id)) ENGINE=MYISAM;

将您的IP地址插入此表。然后创建带有分区的实际表:

CREATE TABLE IPADDRESSES(  id INT UNSIGNED NOT NULL AUTO_INCREMENT,  ipaddress BIGINT UNSIGNED,  PRIMARY KEY(id, ipaddress)) ENGINE=MYISAMPARTITION BY HASH(ipaddress)PARTITIONS 20;

然后最后

INSERT INTO IPADDRESSES(ipaddress) SELECt ipaddress FROM IPADDRESSES_TEMP;DROP TABLE IPADDRESSES_TEMP;ALTER TABLE IPADDRESSES ADD INDEX(ipaddress)

然后您就可以了…在新表上建立索引在具有1GB RAM的3.2GHz机器上花了我大约2个小时:)希望这会有所帮助。



欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5044681.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-11-15
下一篇 2022-11-15

发表评论

登录后才能评论

评论列表(0条)

保存