合并多个大型DataFrame的有效方法

合并多个大型DataFrame的有效方法

通过使用执行索引对齐的串联，您可能会获得一些好处

pd.concat

。希望它应该比外部合并更快，更有效地利用内存。

df_list = [df1, df2, ...]for df in df_list:    df.set_index(['name', 'id'], inplace=True)df = pd.concat(df_list, axis=1) # join='inner'df.reset_index(inplace=True)

或者，您可以用

concat

迭代代替（第二步）

join

：

from functools import reducedf = reduce(lambda x, y: x.join(y), df_list)

这可能会更好，也可能不会更好

merge

。