如果您尚未从DBAPI游标中获取所有行,那么在该游标的连接上调用commit()通常是个坏主意。在这种情况下,psycopg2(我猜这是您所使用的DBAPI)无法在事务上维护命名游标的状态(当您要使用服务器缓冲的行时,将使用该游标)。
您绝对应该在此处更改的一件事是您提交的频率。理想情况下,直到完成整个 *** 作,您才可以提交任何内容。会话将根据需要自动刷新数据(当然,如果您打开了自动刷新功能,我建议这样做),或者您可以调用flush()强制它,但这与实际提交事务无关。所有对commit()的调用都会使 *** 作的效率大大降低,当然,它会妨碍其他结果集的游标。如果只将一个commit()放在循环的末尾,那么您将立即解决这两个问题。
如果您仍然需要在整个 *** 作完成之前提交,甚至不需要,那么我宁愿分块工作,而不是使用yield_per(),这非常脆弱。http://www.sqlalchemy.org/trac/wiki/UsageRecipes/WindowedRangeQuery上的食谱显示了执行此 *** 作的一种方法。尽管psycopg2给了我们更多的回旋余地,但DBAPI并不适合整体上处理非常大的结果集。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)