使用UDF进行Pyspark数据框联接

使用UDF进行Pyspark数据框联接

Spark 2.2+

您必须在配置中使用

crossJoin

或启用交叉联接：

df1.crossJoin(df2).where(my_join_udf(df1.col_a, df2.col_b))

Spark 2.0、2.1

下面显示的方法在Spark
2.x中不再起作用。参见SPARK-19728。

Spark 1.x

理论上，您可以加入和过滤：

df1.join(df2).where(my_join_udf(df1.col_a, df2.col_b))

但总的来说，您不应该全部。任何

join

不基于相等性的类型都需要完整的笛卡尔积（与答案相同），这几乎是不可接受的。