如何将CSV文件迁移到Sqlite3(或MySQL)? – Python

如何将CSV文件迁移到Sqlite3(或MySQL)? – Python,第1张

概述我正在使用 Python来逐行保存数据……但这非常慢! CSV包含7000万行,用我的脚本我可以每秒存储1千行. 这就是我的脚本的样子 reader = csv.reader(open('test_results.csv', 'r'))for row in reader: TestResult(type=row[0], name=row[1], result=row[2]).save() 我正在使用 Python来逐行保存数据……但这非常慢!

CSV包含7000万行,用我的脚本我可以每秒存储1千行.

这就是我的脚本的样子

reader = csv.reader(open('test_results.csv','r'))for row in reader:    TestResult(type=row[0],name=row[1],result=row[2]).save()

我估计,为了进行测试,我可能需要考虑MysqL或Postgresql.

任何想法或提示?这是我第一次处理如此庞大的数据量. 总结

以上是内存溢出为你收集整理的如何将CSV文件迁移到Sqlite3(或MySQL)? – Python全部内容,希望文章能够帮你解决如何将CSV文件迁移到Sqlite3(或MySQL)? – Python所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/1160099.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-06-01
下一篇 2022-06-01

发表评论

登录后才能评论

评论列表(0条)

保存