使用spark elasticsearch连接器,
fields因此无法应用投影。
如果希望对映射使用细粒度的控制,则应该
Dataframe改用基本上是RDD和模式的映射。
pushdown还应启用谓词,以将Spark SQL转换(下推)为Elasticsearch Query DSL。
现在是一个半完整的示例:
myQuery = """{"query":..., """val df = spark.read.format("org.elasticsearch.spark.sql") .option("query", myQuery) .option("pushdown", "true") .load("myindex/mytype") .limit(10) // instead of size .select("a","b") // instead of fields
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)