【python 数据合并】1招教你csv文件合并成一个大文件

【python 数据合并】1招教你csv文件合并成一个大文件,第1张

需求分析:
将同一个文件夹下所有csv 合并成一个大文件,并计算各列最大值,最小值,标准偏差。


解决方案:

# -*- coding: utf-8 -*-

import pandas as pd
import os

save_path='D:/Programs/数据项目/csv文件合并/合并前/'
save_merge_path='D:/Programs/数据项目/csv文件合并/合并后/'

df1 = pd.DataFrame()
for parent, dirnames, filenames in os.walk(save_path):
    for filename in filenames:
        print("正在处理文件 %s" % filename)
        df2 = pd.read_csv(save_path + filename, sep=',')
        df1 = pd.concat([df1, df2], axis=0)

print(df1)
# 输出数据到本地
df1.to_csv(save_merge_path + 'data_result.csv', index=False, sep=',')

# 计算最大值,最小值,标准偏差
df2=df1.describe()
print(df2)

# 输出结果到本地
df2.to_csv(save_merge_path + 'data_describe.csv', index=True, sep=',')

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/langs/571581.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-04-09
下一篇 2022-04-09

发表评论

登录后才能评论

评论列表(0条)

保存