如何使用Spark(pyspark)编写镶木地板文件?

如何使用Spark(pyspark)编写镶木地板文件?,第1张

如何使用Spark(pyspark)编写镶木地板文件

该错误是由于以下事实引起的:

textFile
from中的方法
SparkContext
返回,
RDD
而我需要的是
Dataframe

SparkSession有一个内幕

SQLContext
。因此,我需要先使用
DataframeReader
来正确读取CSV文件,然后再将其转换为镶木地板文件。

spark = SparkSession     .builder     .appName("Protob Conversion to Parquet")     .config("spark.some.config.option", "some-value")     .getOrCreate()# read csvdf = spark.read.csv("/temp/proto_temp.csv")# Displays the content of the Dataframe to stdoutdf.show()df.write.parquet("output/proto.parquet")


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5057675.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-11-15
下一篇 2022-11-16

发表评论

登录后才能评论

评论列表(0条)

保存