解决大量数据插入数据库导致报错、超时

解决大量数据插入数据库导致报错、超时,第1张

1.设置内存大小,防止内存溢出

2.利用缓存:redis管道(Pipelining)。非阻塞请求/响应服务器能够实现异步处理,即使旧的请求还未被响应,也能处理新的请求。

3.批次插入,如:每1000条执行一次批量插入语句

4.使用事务提高插入性能

使用事务可以在插入出错时进行回滚。

且在进行一个INSERT *** 作时,MySQL内部会建立一个事务,在事务内才进行真正插入处理 *** 作。通过使用事务可以减少创建事务的消耗,所有插入都在执行后才进行提交 *** 作。

1:首先我编译了一个release版本,而后用dependency walker查看了下库的依赖情况。发现依赖于:QtSql4.dll,QtGui4.dll,QtCore4.dll,msvcr80.dll以及 KERNEL32.DLL这几个库。其中最后一个是system的,我们不用去管,剩下的这几个显然都需要拷贝到exe同目录下。 尤其是msvcr80.dll,我在我电脑上搜了一下:有多大10几个同名的该文件,所以拷贝哪个是很重要的,此时我们只需要在dependency walker查看这个dll的属性,然后去对应目录底下拷贝就行了。 所以:第一步就是把这些依赖库拷贝到exe同目录下。(千万不要拷贝错误,尤其是不同的版本)

insert into excelsource425968 这个写的有问题

db = pymysql.connect("localhost","root","密码","数据库表")

#创建一个cursor 对象

cursor = db.cursor()

#插入多条

cursor.executemany('insert into 表名(name,age) values (%s,%s)',[('ZhangSan',33),('LiSi',30)])


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/bake/11619446.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-17
下一篇 2023-05-17

发表评论

登录后才能评论

评论列表(0条)

保存