python – 在大熊猫煤柱上有更好的可读性吗？

概述我经常需要一个新列,这是我可以从其他列获得的最好的列,我有一个特定的优先级列表.我愿意取第一个非空值. def coalesce(values): not_none = (el for el in values if el is not None) return next(not_none, None)df = pd.DataFrame([{'third':'B','first 我经常需要一个新列,这是我可以从其他列获得的最好的列,我有一个特定的优先级列表.我愿意取第一个非空值.

def coalesce(values):    not_none = (el for el in values if el is not None)    return next(not_none,None)df = pd.DataFrame([{'third':'B','first':'A','second':'C'},{'third':'B','first':None,'second':None},{'third':None,'second':None}])df['combo1'] = df.apply(coalesce,axis=1)df['combo2'] = df[['second','third','first']].apply(coalesce,axis=1)print df

结果

first second third combo1 combo20     A      C     B      A      C1  None      C     B      C      C2  None   None     B      B      B3  None   None  None   None   None4     A   None     B      A      B

这个代码可以工作(结果是我想要的),但是它不是很快.
如果我需要[[第二个,第三个,第一个]]]

有些类似于同名的函数从tsql.
我怀疑我可能忽略了一个简单的方法来实现它,在大数据帧(40万行)上表现良好,

我知道有很多方法可以填写我经常在axis = 0上使用的丢失数据
这是什么让我觉得我可能错过了一个easy = 1的选项

你能建议一些更好或更快的东西吗？或者确认这是一样好.

解决方法 您可以使用pd.isnull找到null – 在这种情况下为无 – 值：

In [169]: pd.isnull(df)Out[169]:    first second  third0  False  False  False1   True  False  False2   True   True  False3   True   True   True4  False   True  False

然后使用np.argmin找到第一个非空值的索引.如果所有值都为空,则np.argmin返回0：

In [186]: np.argmin(pd.isnull(df).values,axis=1)Out[186]: array([0,1,2,0])

然后可以使用NumPy整数索引从df中选择所需的值：

In [193]: df.values[np.arange(len(df)),np.argmin(pd.isnull(df).values,axis=1)]Out[193]: array(['A','C','B',None,'A'],dtype=object)

例如,

import pandas as pddf = pd.DataFrame([{'third':'B','second':None}])mask = pd.isnull(df).valuesdf['combo1'] = df.values[np.arange(len(df)),np.argmin(mask,axis=1)]order = np.array([1,0])mask = mask[:,order]df['combo2'] = df.values[np.arange(len(df)),order[np.argmin(mask,axis=1)]]

产量

first second third combo1 combo20     A      C     B      A      C1  None      C     B      C      C2  None   None     B      B      B3  None   None  None   None   None4     A   None     B      A      B

如果DataFrame有很多行,则使用argmin而不是df3.apply(coalesce,…)显着更快：

df2 = pd.concat([df]*1000)In [230]: %timeit mask = pd.isnull(df2).values; df2.values[np.arange(len(df2)),axis=1)]1000 loops,best of 3: 617 µs per loopIn [231]: %timeit df2.apply(coalesce,axis=1)10 loops,best of 3: 84.1 ms per loop

总结

以上是内存溢出为你收集整理的python – 在大熊猫煤柱上有更好的可读性吗？全部内容，希望文章能够帮你解决python – 在大熊猫煤柱上有更好的可读性吗？所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。