如何在Spark SQL中对多个列进行透视？

如何在Spark SQL中对多个列进行透视？

这是涉及单个枢轴的非UDF方法（因此，只需进行一次列扫描即可识别所有唯一日期）。

dff = mydf.groupBy('id').pivot('day').agg(F.first('price').alias('price'),F.first('units').alias('unit'))

结果如下（对不匹配的排序和命名表示歉意）：

+---+-------+------+-------+------+-------+------+-------+------+    | id|1_price|1_unit|2_price|2_unit|3_price|3_unit|4_price|4_unit|+---+-------+------+-------+------+-------+------+-------+------+|100|     23|    10|     45|    11|     67|    12|     78|    13||101|     23|    10|     45|    13|     67|    14|     78|    15||102|     23|    10|     45|    11|     67|    16|     78|    18|+---+-------+------+-------+------+-------+------+-------+------+

经过一天的调整后，我们只在

price

和

unit

列上进行汇总。

如果需要命名，

dff.select([F.col(c).name('_'.join(x for x in c.split('_')[::-1])) for c in dff.columns]).show()+---+-------+------+-------+------+-------+------+-------+------+| id|price_1|unit_1|price_2|unit_2|price_3|unit_3|price_4|unit_4|+---+-------+------+-------+------+-------+------+-------+------+|100|     23|    10|     45|    11|     67|    12|     78|    13||101|     23|    10|     45|    13|     67|    14|     78|    15||102|     23|    10|     45|    11|     67|    16|     78|    18|+---+-------+------+-------+------+-------+------+-------+------+