python是否自动并行化IO和CPU或内存绑定部分？

概述这是关于 previous one的后续问题. 考虑一下这个代码,它比previous question中的代码少玩(但仍然比我真实的简单得多) import sysdata=[]for line in open(sys.argv[1]): data.append(line[-1])print data[-1] 现在,我期待更长的运行时间(我的基准文件长度为65150224行), 这是关于 previous one的后续问题.

考虑一下这个代码,它比previous question中的代码少玩(但仍然比我真实的简单得多)

import sysdata=[]for line in open(sys.argv[1]):    data.append(line[-1])print data[-1]

现在,我期待更长的运行时间(我的基准文件长度为65150224行),可能更长.事实并非如此,它与以前一样在约2分钟内运行！

是data.append()非常轻量级？我不相信,因此我写了这个假代码来测试它：

data=[]counter=0string="a\n"for counter in xrange(65150224):    data.append(string[-1])print data[-1]

这运行时间为1.5到3分钟(运行之间存在很大的差异)

为什么我不能在前一个程序中获得3.5到5分钟？显然,data.append()与IO并行发生.

这是个好消息！

但它是如何工作的？它是一个记录的功能吗？我的代码是否有任何要求我应该遵循以使其尽可能地工作(除了负载平衡IO和内存/ cpu活动)？或者只是简单的缓冲/缓存？

再次,我在这个问题上标记了“linux”,因为我只对linux特定的答案感兴趣.如果您认为值得做,请随意提供与 *** 作系统无关的内容,甚至是其他 *** 作系统的答案.

解决方法

ObvIoUsly data.append() is happening in parallel with the IO.

恐怕不是.可以在Python中并行化IO和计算,但它不会神奇地发生.

您可以做的一件事是使用posix_fadvise(2)为 *** 作系统提供一个提示,即您计划按顺序读取文件(POSIX_FADV_SEQUENTIAL).

在600兆字节文件(ISO)上执行“wc -l”的一些粗略测试中,性能提高了约20％.清除磁盘缓存后立即完成每个测试.

对于fadvise的Python界面,请参阅python-fadvise.

总结

以上是内存溢出为你收集整理的python是否自动并行化IO和CPU或内存绑定部分？全部内容，希望文章能够帮你解决python是否自动并行化IO和CPU或内存绑定部分？所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。