基于第二章搭建的项目,下面 我们实现es的批量插入
参考此文章,请先参考第二章进行搭建
springboot 整合 elasticsearch 二_q1035331653的博客-CSDN博客继续上一篇文章的内容 项目整合elasticsearch如不清楚安装的,请看上一篇文章springboot 整合 elasticsearch 一 安装elasticsearch_q1035331653的博客-CSDN博客环境说明:查询maven官网spring-boot 2.1.13对应的 SpringBootStarterDataElasticsearch»2.1.13.RELEASE对应的SpringDataElasticsearch»3.1.16.RELEASE对应的 elasticsear.https://blog.csdn.net/q1035331653/article/details/121907940实际项目开发中,用上es的场景,一般都有一下几个特征
1、海量数据的搜索(千万级别以上的数据)而且要求搜索响应要快
2、根据搜索条件返回的结果,有相等,类似,并且要求结果越接近的优先展示
3、在海量数据里的聚合统计(例如我开始的文章elasticsearch 聚合统计效率测试_q1035331653的博客-CSDN博客elasticsearch 的介绍 就不啰嗦,大家可以上官网看。官网地址如下:What is Elasticsearch? | Elasticsearch Guide [7.16] | Elastic因为最近做的业务,数据结构比较复杂 而且量大,因为查询 聚合统计问题,最后考虑 适用elasticsearch 提升业务功能查询统计效率。环境版本spring-boot-starter-parent 2.1.13.RELEASEspring-boot-starter-data-elahttps://blog.csdn.net/q1035331653/article/details/121848944)的场景 ,让我考虑使用es
牛逼吹多了!我们进入正文
同步数据到es 可以使用spring-boot-starter-data-elasticsearch 封装好的方法
saveAll(Iterableentities)
看底层源码 就知道也是调用了
elasticsearchOperations 的void bulkIndex(Listqueries);方法
当然灵活点可以自己写
这里我是自己写,每次插入的数量设置为15w
public class ElasticsearchUtil { private final int PAGE_SIZE = 150000; @Autowired private ElasticsearchTemplate elasticsearchTemplate; public int bulkIndex(String indexName,String indexType,ListdataList){ int counter = 0; checkData(indexName,indexType,dataList); //判断索引是否存在 if (!elasticsearchTemplate.indexExists(indexName)) { elasticsearchTemplate.createIndex(indexName); } List indexQueries = convertData(dataList,indexName,indexType); elasticsearchTemplate.bulkIndex(indexQueries); log.info("bulkIndex counter : " + indexQueries.size()); counter = indexQueries.size(); indexQueries.clear(); dataList.clear(); elasticsearchTemplate.refresh(indexName); return counter; } private void checkData(String indexName,String indexType,List dataList){ if(StringUtils.isBlank(indexName) || StringUtils.isBlank(indexType)){ throw new RuntimeException("indexName or indexType can not be null"); } if(CollectionUtils.isEmpty(dataList)){ throw new RuntimeException(String.format("保存的数据不能为空,data size 长度{%d}", dataList.size())); } if(dataList.size() > PAGE_SIZE){ throw new RuntimeException(String.format("data size 必须小于{%d},当前长度{%d}", PAGE_SIZE, dataList.size())); } } private List convertData(List dataList,String indexName,String indexType){ List queries = new ArrayList<>(); for (baseEsEntity esEntity : dataList) { IndexQuery indexQuery = new IndexQuery(); indexQuery.setId(esEntity.getId()); indexQuery.setSource(JSONObject.toJSonString(esEntity)); indexQuery.setIndexName(indexName); indexQuery.setType(indexType); queries.add(indexQuery); } return queries; } }
一下是聚合统计的代码展示
构建查询条件
BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery(); if (StringUtils.isNotBlank(request.getName())) { boolQueryBuilder.should(QueryBuilders.matchQuery(ElasticsearchDateKey.brandName, request.getName())); boolQueryBuilder.should(QueryBuilders.wildcardQuery(ElasticsearchDateKey.brandName+".keyword","*"+request.getName()+"*")); boolQueryBuilder.minimumShouldMatch("50%"); } boolQueryBuilder.filter(QueryBuilders.termQuery(ElasticsearchDateKey.brandType,9));
NativeSearchQueryBuilder nativeSearchQueryBuilder = new NativeSearchQueryBuilder(); //查询条件 nativeSearchQueryBuilder.withQuery(boolQueryBuilder); //分页 nativeSearchQueryBuilder.withPageable(pageable); //2.2指定索引库和文档类型 nativeSearchQueryBuilder.withIndices(TRADEMARK_US_INDEX_NAME).withTypes(TRADEMARK_US_INDEX_TYPE); int termsAggregationSize = request.getPageSize() * 10 > 10000 ? 10000 : request.getPageSize() * 10; TermsAggregationBuilder field = AggregationBuilders.terms(ElasticsearchDateKey.typeCount).field( ElasticsearchDateKey.brandType).size(termsAggregationSize); TermsAggregationBuilder applicationStatus = AggregationBuilders.terms(ElasticsearchDateKey.applicationStatus).field( ElasticsearchDateKey.applicationStatusKeyword).size(termsAggregationSize); nativeSearchQueryBuilder.addAggregation(field); nativeSearchQueryBuilder.addAggregation(applicationStatus); //2.4构建查询对象 NativeSearchQuery nativeSearchQuery = nativeSearchQueryBuilder.build(); PagebyTitle = trademarkUs.search(nativeSearchQuery);
执行代码 的debug结果
dsl查询结果
结果相符。
这里提一些个问题: 代码通配符查询
QueryBuilders.wildcardQuery(ElasticsearchDateKey.brandName+".keyword","*"+request.getName()+"*")
这里增加了keyword 是不让 "*Ac*" 这样进行分词
问题二:分页查询 出现-Result window is too large, from + size must be less than or equal to 的错误 因为es默认的查询分页深度就是1w。正常情况下 几乎没人从第一条数据查看到1w条,不正常的时候就是想看最后结果,杠精。遇到这样的产品提需求,请谁先k他一顿,并且问他是怎么做到产品的
解决办法:
PUT 索引库/_settings
{
"index":{
"max_result_window":1000000 #这个数值根据自身服务器资源 或者需求的要求编写
}
}
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)