es添加数据时createtime丢失

es添加数据时createtime丢失,第1张

您好,您是想问es添加数据时createtime丢失怎么办吗?es添加数据时createtime丢失可以按照以下步骤进行:

1、利用CompletableFuture开启多个线程。

2、搜索es添加数据时丢失的createtime。

3、找到后点击恢复即可。

elasticsearch-spark 提供了saveToEs api以支持快速导入数据。但es集群线程池有限,在大量写入数据的同时,对cpu的压力非常大,影响线上es的查询服务。如果能参考hbase 的bulkload方法,对es也采用“bulkload”模式,写入性能会有巨大提升。核心思想是通过spark作业生成es的lucene文件,并通过网络传输,写入es的数据文件。

本方案参考滴滴的fastIndex: 滴滴FastIndex

采用spark改写,部分特性适应了公司的原始流程,会有不一样的地方。如您采用的是spark saveToEs需要通过该方法进行改写,可参考。

git地址为: https://github.com/Dengyu123/fast-es-rdd


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/bake/11446942.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-16
下一篇 2023-05-16

发表评论

登录后才能评论

评论列表(0条)

保存