使用elasticsearch-spark连接器从Spark读取ES:返回所有字段

使用elasticsearch-spark连接器从Spark读取ES:返回所有字段,第1张

使用elasticsearch-spark连接器从Spark读取ES:返回所有字段

使用spark elasticsearch连接器,

fields
因此无法应用投影。

如果希望对映射使用细粒度的控制,则应该

Dataframe
改用基本上是RDD和模式的映射。

pushdown
还应启用谓词,以将Spark SQL转换(下推)为Elasticsearch Query DSL。

现在是一个半完整的示例:

myQuery = """{"query":..., """val df = spark.read.format("org.elasticsearch.spark.sql")          .option("query", myQuery)          .option("pushdown", "true")          .load("myindex/mytype")          .limit(10) // instead of size          .select("a","b") // instead of fields


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/4960027.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-11-13
下一篇 2022-11-13

发表评论

登录后才能评论

评论列表(0条)

保存