如何把数据快速批量添加到Elasticsearch中

如何把数据快速批量添加到Elasticsearch中,第1张

scroll查询用于有效的从Elasticsearch中检索大量文档,而无需支付深度分页带来的开销。

Scrolling允许我们初始化搜索将结果从Elasticsearch中按批次分离出来直到没有更多结果。这个有点像传统数据库中的游标。

GET /old_index/_search?scroll=1m

}

1、因为保持scroll打开消耗资源,所以我们需要设置超时时间。这里保持1分钟的连接

2、_doc是最有效的排序顺序。

3、在扫描scan的时候,size是应用到每一个片shard上的,所以每一个批次中文档数量应该是size * number_of_primary_shards

请求返回一个Base-64编码的_scroll_id。现在我们可以通过_scroll_id用_search/scroll接口获取下个批次的数据。

Bulk API使执行多次索引或者删除 *** 作在一个API中完成。这可以极大的提高索引速度。

主要介绍批量 *** 作bulk,使用postman进行请求,接口请求的前缀地址统一为elasticsearch 部署IP地址+端口号(例如 http://192.168.51.4:9200 。

bulk *** 作和以往的普通请求格式有区别。指令一般都在一行,用换行符隔开,不是标准的JSON格式,这点需要注意。

action 必须是以下选项之一:

metadata 中需要指定要 *** 作的文档的 _index 、 _type 和 _id ,同时 _index 、 _type 也可在url中指定

官方地址: https://www.elastic.co/guide/cn/elasticsearch/guide/current/bulk.html


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/bake/11536188.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-16
下一篇 2023-05-16

发表评论

登录后才能评论

评论列表(0条)

保存