Pandas——Dataframe行遍历几种常用方法性能分析

Pandas——Dataframe行遍历几种常用方法性能分析

pandas作为python数据分析的一大利器，为广大数据分析人员使用。今天无意中，听到美女同事吐槽：dataframe好慢啊！嗯哼，瞬间引起了我这个数据人的注意，过去一看，原来是用的方法本身效率低。

日常工作中，按照行遍历数据是我们一个非常常见的场景！尤其是从sql boy转到数据分析的我，动不动就想

 select * from table1;

一下，看看数据的大概情况。这一 *** 作在pandas中的实现主要有一下几种：

1、iterrows()

原理是将Dataframe迭代为Series，再返回结果。这一过程中需要进行类型检查，所以，会花费很长的时间。（不建议使用）

for index, row in df.iterrows():
     #字典方式访问
     print(index, row['c1'], row['c2'])

2、itertuples()

原理是将Dataframe迭代为tuple，再进行返回，由于元组不可变的特性，此过程不需要进行类型检查。（效率高，推荐使用）

for row in student.itertuples():
    # print(row)
    print(row.Index, row.name, row.account, row.pwd)
    print(row.Index, getattr(row,'name'), getattr(row,'account'), getattr(row,'pwd'))
    

3、for + zip 

这种方法是直接手动构造原生tuple，无需关心index数据。（效率高，推荐使用）

for A, B in zip(df['A'], df['B']):
    print(A, B)