python大文件处理

1. Chunks——分块处理

2. 分段式反复读取

3. with open()

4. fileinput()

    该模块的input()函数有点类似文件readlines()方法，但它是一个可迭代对象，即每次只生成一行，需要用for循环迭代。在碰到大文件的读取时，无疑效率更高效。用fileinput对文件进行循环遍历，格式化输出，查找、替换等 *** 作，非常方便。

Python可以用来处理文件，包括读取、写入、复制和删除文件。它提供了一组简单而强大的函数，可以完成对文件的基本 *** 作。以下是其中几个常用的函数：

open()函数：用于打开文件，可以指定文件的模式（读、写或其他）；

read()函数：用于读取文件中的内容；

write()函数：用于写入文件；

close()函数：用于关闭文件；

copy()函数：用于复制文件；

remove()函数：用于删除文件；

rename()函数：用于重命名文件。

Python还提供了一些模块，可以更方便地处理文件，如os、shutil和glob模块等。

如果文件太大而无法生成Excel，可以尝试使用Pandas库来处理大文件，并将其转换为Excel文件。Pandas库提供了一系列的函数和方法，可以帮助用户处理大文件，并将其转换为Excel文件。

---