在将CSV文件加载到pandas对象之前,没有选项可以过滤行。
您可以加载文件,然后使用进行过滤
df[df['field'] >constant],或者如果文件很大,并且担心内存用完,则可以使用迭代器并在连接文件块时应用过滤器,例如:
import pandas as pditer_csv = pd.read_csv('file.csv', iterator=True, chunksize=1000)df = pd.concat([chunk[chunk['field'] > constant] for chunk in iter_csv])
您可以更改
chunksize以适合您的可用内存。有关更多详细信息,请参见此处。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)