PySpark将类型为“映射”的列转换为数据框中的多个列

PySpark将类型为“映射”的列转换为数据框中的多个列

由于的键

MapType

不是架构的一部分，因此您必须首先收集这些键，例如：

from pyspark.sql.functions import explodekeys = (df    .select(explode("Parameters"))    .select("key")    .distinct()    .rdd.flatMap(lambda x: x)    .collect())

当您拥有了这些之后，剩下的就是简单的选择：

from pyspark.sql.functions import colexprs = [col("Parameters").getItem(k).alias(k) for k in keys]df.select(*exprs)