Python open读取较大文件的方法

Python open读取较大文件的方法

之前使用pandas.read_csv()读取一个大文件，花了好长时间才读取完毕，但通过python的open函数打开时效率提高了好几倍。

对于很大的文件，pandas.read_csv()采取分块效果较好，下面是对于不分块的较大文件 *** 作。

python读取文件的一般方法：

    file = open(res.FILE_PATH["shop"], 'r', encoding="gb18030")
    # 读取一定量的文件
    print(file.read(5))

    # 查看文件格式
    print(file)

    # 逐行读取方法一
    line = file.readline()
    while line != "":
        print(line, end="")  # 末尾换行替换为空字符
        line = file.readline()


    # 逐行读取方法二
    for line in file.readlines():
        print(line, end="")


    file.close()

但这一般用法效率还可以提升。

添加with的写法以后，执行就类似于迭代器处理，效率进一步提升。

    # 迭代器
    start = time.time()
    with open(res.FILE_PATH["shop"], 'r', encoding="gb18030") as f:
        for line in f:
            print(line, end="")

        
    cost = time.time() - start
    print(cost)

    
    # 或者
    with open(res.FILE_PATH['shop'], 'r', encoding="gb18030", errors="ignore") as file:
        data = file.read().split("n")


    # 迭代器
    start = time.time()

    with open(res.FILE_PATH["shop"], 'rb') as f:
        for line in f:
            line = line.decode("gb18030")
            print(line, end="")

    cost = time.time() - start
    print(cost)

    f.close()

经过测试可以看到rb二进制类型单一来看是最快的但如果再解码的话效率又回比r只读模式略差一些。