PySpark 如何实现 Pandas UDF（用户定义函数）？

PySpark 如何实现 Pandas UDF（用户定义函数）？

PySpark 如何实现 Pandas UDF（用户定义函数）？

顾名思义，PySpark Pandas UDF 是一种使用 Pandas Dataframe 在 PySpark 中实现用户定义函数 (UDF) 的方法。PySpark API 文档给出的定义如下：

“Pandas UDF 是用户定义的函数，由 Spark 执行，使用 Arrow 传输数据，Pandas 执行数据，允许向量化 *** 作。Pandas UDF 是使用pandas_udf作为装饰器或包装函数来定义的，不需要额外的配置。Pandas UDF 通常表现为常规的 PySpark 函数 API。”

在这篇文章中，我们将探索PandasUDFType.GROUPED_MAP，或者在 PySpark 的最新版本中，也称为pyspark.sql.GroupedData.applyInPandas. 主要思想很简单，Pandas UDF 分组数据允许在数据集的每一组中进行 *** 作。由于 spark 中的分组 *** 作是跨集群节点计算的，因此我们可以以允许在不同节点计算不同模型的方式 *** 作我们的数据集。是的，我的兄弟们……永远不要低估一个groupBy.

配置

在进入应用 Pandas UDF 的细节之前，让我们用一些模块、全局变量和常用函数设置环境。

第一步是导入将在这个小实验中使用的所有模块。

import pandas as pd
from catboost import CatBoostClassifier
from itertools import product
from pyspark.sql import Dataframe
from pyspark.sql