使用PySpark将JSON文件读取为Pyspark Dataframe吗？

使用PySpark将JSON文件读取为Pyspark Dataframe吗？

Json字符串变量

如果您将 json字符串作为变量， 则可以

simple_json = '{"results":[{"a":1,"b":2,"c":"name"},{"a":2,"b":5,"c":"foo"}]}'rddjson = sc.parallelize([simple_json])df = sqlContext.read.json(rddjson)from pyspark.sql import functions as Fdf.select(F.explode(df.results).alias('results')).select('results.*').show(truncate=False)

这会给你

+---+---+----+|a  |b  |c   |+---+---+----+|1  |2  |name||2  |5  |foo |+---+---+----+

Json字符串作为文件中的单独行（sparkContext和sqlContext）

如果 文件中 有 json字符串作为单独的行， 则可以 使用sparkContext将其读入rdd [string]
，如上所述，其余过程与上述相同

rddjson = sc.textFile('/home/anahcolus/IdeaProjects/pythonSpark/test.csv')df = sqlContext.read.json(rddjson)df.select(F.explode(df['results']).alias('results')).select('results.*').show(truncate=False)

Json字符串作为文件中的单独行（仅适用于sqlContext）

如果您 在文件中将JSON字符串作为单独的行， 则只能使用

sqlContext

。但是这个过程是复杂的 ，你必须创建模式 为它

df = sqlContext.read.text('path to the file')from pyspark.sql import functions as Ffrom pyspark.sql import types as Tdf = df.select(F.from_json(df.value, T.StructType([T.StructField('results', T.ArrayType(T.StructType([T.StructField('a', T.IntegerType()), T.StructField('b', T.IntegerType()), T.StructField('c', T.StringType())])))])).alias('results'))df.select(F.explode(df['results.results']).alias('results')).select('results.*').show(truncate=False)

这应该给你与上述结果相同

我希望答案是有帮助的