Python拆分大型CSV文件代码实例

概述Python拆分大型CSV文件代码实例 这篇文章主要介绍了Python拆分大型CSV文件代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 #!/usr/bin/env python3 # -*- coding:utf-8 -*- # @FileName :Test.py # @Software PyCharm import os import pandas as pd # filename为文件路径,file_num为拆分后的文件行数 # 根据是否有表头执行不同程序,默认有表头

这篇文章主要介绍了Python拆分大型CSV文件代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

#!/usr/bin/env python3# -*- Coding:utf-8 -*-# @filename :Test.py# @Software PyCharmimport osimport pandas as pd# filename为文件路径，file_num为拆分后的文件行数# 根据是否有表头执行不同程序，默认有表头的def Data_split(filename,file_num,header=True):  if header:    # 设置每个文件需要有的行数,初始化为1000W    chunksize=10000    data1=pd.read_table(filename,chunksize=chunksize,sep=',',enCoding='gbk')    # print(data1)    # num表示总行数    num=0    for chunk in data1:      num+=len(chunk)    # print(num)    # chunksize表示每个文件需要分配到的行数    chunksize=round(num/file_num+1)    # print(chunksize)    # 分离文件名与扩展名os.path.split(filename)    head,tail=os.path.split(filename)    data2=pd.read_table(filename,enCoding='gbk')    i=0    for chunk in data2:      chunk.to_csv('{0}_{1}{2}'.format(head,i,tail),header=None,index=False)      print('保存第{0}个数据'.format(i))      i+=1  else:    # 获得每个文件需要的行数    chunksize=10000    data1=pd.read_table(filename,')    num=0    for chunk in data1:      num+=len(chunk)      chunksize=round(num/file_num+1)      head,tail=os.path.split(filename)      data2=pd.read_table(filename,')      i=0      for chunk in data2:        chunk.to_csv('{0}_{1}{2}'.foemat(head,index=False)        print('保存第{0}个数据'.format(i))        i+=1filename='文件路径'#num为拆分为的文件个数Data_split(filename,num,header=True)

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

总结

以上是内存溢出为你收集整理的Python拆分大型CSV文件代码实例全部内容，希望文章能够帮你解决Python拆分大型CSV文件代码实例所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。