如何向mysql数据库中导入大批量数据?

如何向mysql数据库中导入大批量数据?,第1张

导入时把生成索引给关掉,应该能快一点.

不要一边导入一边建立索引.

8G数据,应该也不那么慢了.

把sql语句文件读取出一部分看看,建表语句中,应当有建立索引的部分,删掉它!

只做建表和插入数据两件事.

还有,看看数据库有没有外键?

尽量在插入数据过程中去掉外键关联.

等数据插入完成之后再加索引和外键,应该能提高很多读写性能.

截取一部分数据,例如100Mb.

插入一下试试,可以预先对整体时间有一个预期.

还有,真的要弄台好点的电脑,或者去借一台,等把数据导入完成之后,把msyql的库文件直接复制出来放自己机器上跑就好.

emm..

再追加点信息,要先搞明白,sql原文件里,到底都执行了哪几类 *** 作?

可能需要你用c之类写点小工具,或者别的什么语言,分块读取并处理文件.

8G..

嗯,还好.

现在内存都够大,否则你都没法直接用软件打开了.

只有8G也可以直接用软件打开看.

停掉索引真的可以大幅度加快插入数据的速度.

建议试一试!

dataguard有多种同步方式,这要看你使用的是哪一种了,如果你使用的是lgwr sync(重做日志同步传输)的话那就不用考虑你archivelog空间的问题啊。当然了如果使用的是arch传输同步的方式那就可能有点问题,这需要看你传输速度快还是生成日志的速度快咯。(日志同步速度较快,基本不用考虑日志同步在这个过程中的影响)

超大的数据用NoSQL数据库存储。

它可以支持超大规模数据存储,灵活的数据模型可以很好地支持Web2.0应用。具有强大的横向扩展能力等。

而且,云数据库具有高可扩展性、高可用性、采用多租形式和支持资源有效分发等特点。

云数据库是基于云计算技术发展的一种共享基础架构的方法,是部署和虚拟化在云计算环境中的数据库。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9930137.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-03
下一篇 2023-05-03

发表评论

登录后才能评论

评论列表(0条)

保存