关于SparkSQL中withColumn生成自增序列的一个坑

首先我们创建一个RDD并设置分区数为2，然后转换成DataFrame，生成一列新的ID

然后我们看下生成的ID，可见同分区连续

我们使用coalesce方法将分区设置为1

df.withColumn("uniform", dfdata.col("io"))

df的withColumn后面的列只能在df里面挑选，不能从别的DataFrame里面选列

---