如何在Pandas read_csv函数的负载中过滤行?

如何在Pandas read_csv函数的负载中过滤行?,第1张

如何在Pandas read_csv函数的负载中过滤行?

在将CSV文件加载到pandas对象之前,没有选项可以过滤行。

您可以加载文件,然后使用进行过滤

df[df['field'] >constant]
,或者如果文件很大,并且担心内存用完,则可以使用迭代器并在连接文件块时应用过滤器,例如:

import pandas as pditer_csv = pd.read_csv('file.csv', iterator=True, chunksize=1000)df = pd.concat([chunk[chunk['field'] > constant] for chunk in iter_csv])

您可以更改

chunksize
以适合您的可用内存。有关更多详细信息,请参见此处。



欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/5617305.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-15
下一篇 2022-12-15

发表评论

登录后才能评论

评论列表(0条)

保存