高效地将CSV的最后“ n”行读入DataFrame

高效地将CSV的最后“ n”行读入DataFrame

我不认为熊猫会提供一种方法来实现这一目标

read_csv

。

也许最整洁（一次通过）是使用

collections.deque

：

from collections import dequefrom StringIO import StringIOwith open(fname, 'r') as f:    q = deque(f, 2)  # replace 2 with n (lines read at the end)In [12]: qOut[12]: deque(['7,8,9n', '10,11,12'], maxlen=2)         # these are the last two lines of my csvIn [13]: pd.read_csv(StringIO(''.join(q)), header=None)

另一个值得尝试的选择是获取第一遍的行数，然后再次读取文件，使用

read_csv

…跳过该行数（减去n）。