python读取较大数据文件

常用方式一：

上述方式不会一次性读取整个文件，类似buffer机制。

对可迭代对象 f，进行迭代遍历： for line in f ，会自动地使用缓冲IO（buffered IO）以及内存管理。

方式二：

自己实现类似于buffer：

== 不适合的方法 ==

如果文件太大而无法生成Excel，可以尝试使用Pandas库来处理大文件，并将其转换为Excel文件。Pandas库提供了一系列的函数和方法，可以帮助用户处理大文件，并将其转换为Excel文件。

1.方法一：利用yield生成器

2. 方法二：利用open()自带方法生成迭代对象，这个是一行一行的读取

总结：二者的比较

方法一：可以灵活控制一次读取的size，在速度上较2有优势，适用于一些大的二进制文件，比如读取一些大的视频或者图片等。

方法二：在处理一些文本的时候感觉更加便利，按行读更容易对文本进行处理。

---