spark dataframe正则表达式

spark dataframe正则表达式

关于如何在spark中对Dataframe使用正则表达式进行筛选，最近在使用过程中进行了小研究。

1、遇到的问题一

准备一个Dataframe，首先的思路是使用withColumn对dataframe中的目标列进行修改：

//dataframe 结构如下
+-----+-------+----+
|index|   name|type|
+-----+-------+----+
|    1|Michael|   A|
|    2|   Andy|   B|
|    3| Justin|   C|
+-----+-------+----+

在使用regexp_extract函数进行正则匹配前，别忘了添加import org.apache.spark.sql.functions._隐式转换。

//正则表达式
val pattern = "ch"
//要匹配的字段
val pattColumn = "name"

import org.apache.spark.sql.functions._

val frame = dataframe.withColumn(pattColumn,regexp_extract(dataframe(pattColumn),pattern,0))

frame.show()

运行结果如下：

+-----+----+----+
|index|name|type|
+-----+----+----+
|    1|  ch|   A|
|    2|    |   B|
|    3|    |   C|
+-----+----+----+

可以看到，除了匹配到的字段内容显示了以外，没有匹配到的字段数据同样返回结果，这不符合要求。

2、去掉不符合要求的数据

对于Dataframe的筛选一般使用Filter算子，但是其内部筛选的对象只能是Column类型，所以需要把 要匹配的String字段，包装成Column对象。

//正则表达式
val pattern = "ch"
//要匹配的字段
val pattColumn = "name"

import org.apache.spark.sql.functions._

val selName=new Column(pattColumn)
val frame = dataframe.withColumn(pattColumn,regexp_extract(dataframe(pattColumn),pattern,0)).filter(selName=!="")

frame.show()

运行结果：

+-----+----+----+
|index|name|type|
+-----+----+----+
|    1|  ch|   A|
+-----+----+----+