用滚动平均值或其他插值替换NaN或缺失值

用滚动平均值或其他插值替换NaN或缺失值,第1张

滚动平均值或其他插值替换NaN或缺失值

有几种方法可以解决此问题,最好的方法取决于一月份的数据是否与其他月份系统地不同。大多数现实世界的数据可能都是季节性的,因此让我们以北半球一个随机城市的平均高温(华氏度)为例。

df=pd.Dataframe({ 'month' : [10,11,12,1,2,3],       'temp'  : [65,50,45,np.nan,40,43] }).set_index('month')

您可以按照建议使用滚动平均值,但是问题是您将获得全年的平均温度,而忽略了1月是最冷的月份这一事实。要对此进行更正,可以将窗口减小到3,这导致一月温度是12月和2月温度的平均值。(我也

min_periods=1
按照@
user394430的答案中的建议使用。)

df['rollmean12'] = df['temp'].rolling(12,center=True,min_periods=1).mean()df['rollmean3']  = df['temp'].rolling( 3,center=True,min_periods=1).mean()

这些是改进,但是仍然存在用滚动方式覆盖现有值的问题。为了避免这种情况,您可以将其与

update()
方法结合使用(请参见此处的文档)。

df['update'] = df['rollmean3']df['update'].update( df['temp'] )  # note: this is an inplace operation

甚至有更简单的方法可以保留现有值,而用上个月,下个月或上个月和下个月的平均值填充丢失的一月份温度。

df['ffill']   = df['temp'].ffill()         # previous month df['bfill']   = df['temp'].bfill()         # next monthdf['interp']  = df['temp'].interpolate()   # mean of prev/next

在这种情况下,

interpolate()
默认为简单线性解释,但是您还可以使用其他几种插值选项。有关更多信息,请参见有关熊猫插值的文档。或这个statck溢出问题:
在熊猫的Dataframe上插值

这是带有所有结果的样本数据:

       temp  rollmean12  rollmean3  update  ffill  bfill  interpmonth    10     65.0        48.6  57.500000    65.0   65.0   65.0    65.011     50.0        48.6  53.333333    50.0   50.0   50.0    50.012     45.0        48.6  47.500000    45.0   45.0   45.0    45.01       NaN        48.6  42.500000    42.5   45.0   40.0    42.52      40.0        48.6  41.500000    40.0   40.0   40.0    40.03      43.0        48.6  41.500000    43.0   43.0   43.0    43.0

特别要注意的是,“ update”和“ interp”在所有月份中给出的结果相同。尽管在此使用哪种都无关紧要,但在其他情况下,一种或另一种可能会更好。



欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/5645277.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-16
下一篇 2022-12-16

发表评论

登录后才能评论

评论列表(0条)

保存