我可以更改Spark数据框中的列的可空性吗?

我可以更改Spark数据框中的列的可空性吗?,第1张

我可以更改Spark数据框中的列的可空性吗?

似乎您错过了StructType(newSchema)。

l = [('Alice', 1)]df = sqlContext.createDataframe(l, ['name', 'age'])df = df.withColumn('foo', F.when(df['name'].isNull(),False).otherwise(True))df.schema.fieldsnewSchema = [StructField('name',StringType(),True), StructField('age',LongType(),True),StructField('foo',BooleanType(),False)]df2 = sqlContext.createDataframe(df.rdd, StructType(newSchema))df2.show()


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/5668204.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-16
下一篇 2022-12-16

发表评论

登录后才能评论

评论列表(0条)

保存