python读取大文件处理时使用多线程

如果有个很大的文件，几十G?，需要每次读取一部分，处理后再读取剩余部分。

with open as f 已经从内部处理难点，使用 for line in f 以迭代器的形式每次读取一行，不会有内存问题。

下面程序的思路是用一个列表存放读取到的数据，达到长度后就开始处理，处理完就清空列表，继续执行

按照你这个说法，要同时启动80-90个线程，你不怕电脑崩溃呀。。

我以前做过一个类似的程序，我给你思路，但是不一定适用你这里需要的。你看下先

因为担心线程抢占资源，所以，在启动线程之前，先做资源分配

1、读取所有的文件名，按照需求，分成90个字符串数组

2、启动thread线程或者delegate委托事件来执行文件的读取，传递的参数就是上面的数组中的一个

3、线程中读取文件列表的方法。这个要看你要做什么了。

我不知道你读取文件要做什么，如果要插入资料库的话，你还得考虑不同线程读取资料库会不会锁表。具体看你的需求吧

---