在PySpark 1.5.0中，如何基于列x的值列出列y的所有项目？

在PySpark 1.5.0中，如何基于列x的值列出列y的所有项目？

您可以使用

collect_list

Hive UDAF：

from pyspark.sql.functions import exprfrom pyspark import HiveContextsqlContext = HiveContext(sc)df = sqlContext.createDataframe(rdd)df.groupBy("x").agg(expr("collect_list(y) AS y"))

在1.6或更高版本中，可以使用collect_list函数：

from pyspark.sql.functions import collect_listdf.groupBy("x").agg(collect_list(y).alias("y"))

在2.0或更高版本中，无需Hive支持即可使用它。

但是，这并不是特别有效的 *** 作，因此您应适度使用它。

另外，请勿使用字典进行模式推断。从1.2开始不推荐使用