elasticsearch使用2021.12.24

elasticsearch使用2021.12.24 初识elasticsearch

数据可视化 Kibana
存储、计算、搜索数据 elasticsearch
数据抓取 logstash beats
Elasticsearch底层是基于Lucene来实现的。
Lucene是一个java语言的搜索引擎类库 ，
因此可以说的是，
2004年Shay Banon基于Lucene开发了Compass
2010年Shay Banon重写了Compass，取名为Elasticsearch

正向索引

倒排索引

如果是根据id查询，那么直接走索引，查询速度非常快
但是如果是基于title做模糊查询，只能是逐条扫描数据
1用户搜索数据，条件是title符合”%手机%“
2逐条获取数据
3判断数据中的title是否符合用户搜索条件
4如果符合则放入结果集，不符合则丢弃
倒排索引的概念是基于MySQL这样的正向索引而言

倒排索引就是先查询倒排索引里面的词条，然后获取文档id，然后根据得到的文档id利用正向索引得到数据集。

几个定义

文档：Es是面向文档存储，可以是一条商品信息，一个订单信息，文档数据会被序列化为json
字段：文档中包含很多字段，相当于数据库的列
索引：相同类型的文档集合，相当于数据库的表
映射：用于定义表的结构、字段的名称、类型等信息，因此，索引库中就有映射，是索引中文档的字段约束信息，类似表的结构约束。

mysql与elasticsearch
mysql ：擅长事务类型 *** 作，可以确保数据的安全和一致性
elasticsearch擅长海量数据的搜索，分析，计算

部署单点es 创建网络

因此我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络
docker network create es-net

加载镜像

利用Xftp先将es.tar上传到虚拟机
然后运行命令加载即可
导入数据
docker load -i es.tar

kibana可以进行一个拉取
docker pull kibana：7.12.1

部署es

运行docker命令，部署单点es
docker run -d --name es -e “ES_JAVA_OPTS=-Xms512m -Xmx512m” -e “discovery.type=single-node” -v es-data:/usr/share/elasticsearch/data -v es-plugins:/usr/share/elasticsearch/plugins --privileged --network es-net -p 9200:9200 -p 9300:9300 elasticsearch:7.12.1

部署kibana

运行docker命令，部署kibana
docker run -d --name kibana -e ELASTICSEARCH_HOSTS=http://es:9200 --network=es-net -p 5601:5601 kibana:7.12.1

离线安装ik插件

1. 查看数据卷目录
   安装插件需要知道elasticsearch的plugins目录位置，而我们用了数据卷挂载，因此需要查看elasticsearch的数据卷目录，通过下面命令查看
   docker volume inspect es-plugins
   显示结果
   

2. 解压缩分词器安装包
   把官网下载下来的ik分词器解压缩，重名名为ik

3. 上传到es容器的插件数据卷中
   /var/lib/docker/volumes/es-plugins/_data

4. 重启容器

5. 测试

   1. ik分词器包含两种模式
      1. ik_smart:最少切分
      2. ik_max_word:最细切分

扩展词词典

修改ik分词器config目录IKAnalyzer.cfg.xml配置

索引库 *** 作