python读取大文件,分片保存

python读取大文件,分片保存,第1张

# -*- coding: utf-8 -*-
import hashlib 
import time
import sys
filename = sys.argv[1]
partsize = int(sys.argv[2])
prefix = sys.argv[3]

print("split file...")

partn = 0
# 读取文件
data = ""
with open(filename, 'r') as f:
    for line in f:
        data = data+line
              
        if len(data)> partsize:
            tmpdata = data[0:partsize]
            partn = partn+1
            with open(prefix+str(partn), 'wb') as f:
                f.write(tmpdata)

            print("part_"+str(partn)+" : ", partsize)
            data=data[partsize:]

if len(data) > 0:
    partn = partn+1
    with open(prefix+str(partn), 'wb') as f:
        f.write(data)
        print("part_"+str(partn)+" : ", len(data))
        data=data[partsize:]

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/langs/715311.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-04-25
下一篇 2022-04-25

发表评论

登录后才能评论

评论列表(0条)

保存