需求分析:
将同一个文件夹下所有csv 合并成一个大文件,并计算各列最大值,最小值,标准偏差。
解决方案:
# -*- coding: utf-8 -*-
import pandas as pd
import os
save_path='D:/Programs/数据项目/csv文件合并/合并前/'
save_merge_path='D:/Programs/数据项目/csv文件合并/合并后/'
df1 = pd.DataFrame()
for parent, dirnames, filenames in os.walk(save_path):
for filename in filenames:
print("正在处理文件 %s" % filename)
df2 = pd.read_csv(save_path + filename, sep=',')
df1 = pd.concat([df1, df2], axis=0)
print(df1)
# 输出数据到本地
df1.to_csv(save_merge_path + 'data_result.csv', index=False, sep=',')
# 计算最大值,最小值,标准偏差
df2=df1.describe()
print(df2)
# 输出结果到本地
df2.to_csv(save_merge_path + 'data_describe.csv', index=True, sep=',')
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)