批量向MySQL导入1000万条数据的优化

批量向MySQL导入1000万条数据的优化,第1张

1.用start transaction关闭mysql的自动提交,合理设置插入批量大小,不要一条数据提交一次。 2.修改表的存储引擎InnoDB为MyISAM。(因为InnoDB中存在redo log日志,每次更新表的结果先写入redo log中,等redo log满了之后再写入磁盘而这个过程是会停止其他所有的事务) 3.优化SQL(一条SQL语句插入多条数据) 4.尽量顺序插入(存储引擎底层采用的数据结构是B+tree索引,如果每次插入记录都在索引的最后面,索引的定位效率很高,并且对索引调整较小;如果插入的记录在索引中间,则需要维护B+tree并且索引定位效率会下降,数据量较大时会有频繁的磁盘 *** 作)

mysql一千万数据插入另外一个表的方法:

1、INSERTINTO目标表SELECT*FROM来源表2、例如,要将articles表插入到newArticles表中,则可以通过如下SQL语句实现3、INSERTINTOnewArticlesSELECT*FROMarticles。

我google了一下大概有一下几个方法,

1.复制表结构及数据到新表

CREATE TABLE 新表 SELECT * FROM 旧表

2.只复制表结构到新表

CREATE TABLE 新表 SELECT * FROM 旧表 WHERE 1=2

即:让WHERE条件不成立.

3.复制旧表的数据到新表(假设两个表结构一样)

INSERT INTO 新表 SELECT * FROM 旧表

4.复制旧表的数据到新表(假设两个表结构不一样)

INSERT INTO 新表(字段1,字段2,.......) SELECT 字段1,字段2,...... FROM 旧表


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/7663987.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-08
下一篇 2023-04-08

发表评论

登录后才能评论

评论列表(0条)

保存