在PySpark中爆炸

在PySpark中爆炸

explode

和

split

是SQL函数。两者都在SQL上运行

Column

。

split

将Java正则表达式作为第二个参数。如果要在任意空格上分离数据，则需要这样的 *** 作：

df = sqlContext.createDataframe(    [('cat nn elephant rat n rat cat', )], ['word'])df.select(explode(split(col("word"), "s+")).alias("word")).show()## +--------+## |    word|## +--------+## |     cat|## |elephant|## |     rat|## |     rat|## |     cat|## +--------+