Elasticsearch之集群搭建

Elasticsearch之集群搭建 1.搭建环境

192.168.8.128@yzm1 node-1
192.168.8.129@yzm2 node-2
192.168.8.130@yzm3 node-3

2.单机安装

https://blog.csdn.net/qq_43654581/article/details/122235303

3.elasticsearch.yzm

# --------------------------- Cluster ---------------------------  
# 集群名称，默认是elasticsearch
#cluster.name: my-application

# --------------------------- Node ---------------------------
# 节点名称
node.name: node-1

# 指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master
#node.master: true
# 指定该节点是否存储索引数据，默认为true
#node.data: true
# 数据预处理节点，默认true
#node.ingest: true 

# 1.如果你想让节点从不选举为主节点,只用来存储数据,可作为负载器 
#node.master: false 
#node.data: true 
#node.ingest: false 
# 2.如果想让节点成为主节点,且不存储任何数据,并保有空闲资源,可作为协调器 
#node.master: true 
#node.data: false
#node.ingest: false 
# 3.如果想让节点既不称为主节点,又不成为数据节点,那么可将他作为搜索器,从节点中获取数据,生成搜索结果等 
#node.master: false 
#node.data: false 
#node.ingest: true
# 4.仅作为协调器 
#node.master: false 
#node.data: false
#node.ingest: false  

# 每个节点都可以定义一些与之关联的通用属性，用于后期集群进行碎片分配时的过滤
#node.attr.rack: r1

# 默认情况下，多个节点可以在同一个安装路径启动，如果你想让你的es只启动一个节点，可以进行如下设置
#node.max_local_storage_nodes: 1 

# --------------------------- Index ---------------------------
# 设置默认索引分片个数，默认为5片。索引创建后一次生成的,后续不可更改设置
#index.number_of_shards: 5
# 设置默认索引副本个数，默认为1个副本。可以通过API去实时修改设置
#index.number_of_replicas: 1
#如果服务器够多,可以将分片提高,尽量将数据平均分布到大集群中去。同时,如果增加副本数量可以有效的提高搜索性能 

# --------------------------- Paths ---------------------------
# 配置文件的存储路径，默认$ES_HOME/config
#path.conf: /path/to/conf
# 索引数据的存储路径，默认$ES_HOME/data 
#path.data: /path/to/data
# 日志文件的存储路径，默认$ES_HOME/logs
#path.logs: /path/to/logs
# 临时文件的存储路径，默认$ES_HOME/work
#path.work: /path/to/work
# 插件的存放路径，默认$ES_HOME/plugins
#path.plugins: /path/to/plugins

# --------------------------- Plugin ---------------------------
# 设置插件作为启动条件,如果以下插件没有安装,则该节点服务不会启动 
#plugin.mandatory: mapper-attachments,lang-groovy

# --------------------------- Memory ---------------------------
# 锁住物理内存，不使用swap内存，使有swap内存性能降低
#bootstrap.mlockall: true
# 新版本
#bootstrap.memory_lock: true

# --------------------------- Network --------------------------- 
# 绑定ip地址，默认0.0.0.0
#network.bind_host: 192.168.0.1
# 与其它节点交互的ip地址，如果不设置它会自动判断
#network.publish_host: 192.168.0.1
# 参数是用来同时设置bind_host和publish_host上面两个参数
network.host: 192.168.8.129

# 是否使用http协议对外提供服务，默认为true
#http.enabled: true
# 对外服务的http端口，默认为9200
http.port: 9200
# 请求内容的最大容量，默认100mb
#http.max_content_length: 100mb

# 节点间交互的tcp端口，默认是9300
#transport.tcp.port: 9300
# 是否压缩tcp传输时的数据，默认为false
#transport.tcp.compress: false

# 使用head等插件监控集群信息，需要打开以下配置项
#http.cors.enabled: true
#http.cors.allow-origin: /.*/
#http.cors.allow-credentials: true

# --------------------------- Gateway ---------------------------
# gateway的类型,默认为local即为本地文件系统,可以设置为本地文件系统 
#gateway.type: local 
# 设置集群有多少个节点启动后,才允许进行恢复处理 
#gateway.recover_after_nodes: 1 
# 设置初始化恢复过程的超时时间,超时时间从上一个配置中配置的N个节点启动后算起 
#gateway.recover_after_time: 5m 
# 设置这个集群中期望有多少个节点.一旦这N个节点启动(并且recover_after_nodes也符合), 
# 立即开始恢复过程(不等待recover_after_time超时) 
#gateway.expected_nodes: 2

# --------------------------- Recovery Throttling ---------------------------
# 下面这些配置允许在初始化恢复,副本分配,再平衡,或者添加和删除节点时控制节点间的分片分配 
# 设置一个节点的并行恢复数 
# 1.初始化数据恢复时,并发恢复线程的个数,默认为4 
#cluster.routing.allocation.node_initial_primaries_recoveries: 4   
# 2.添加删除节点或负载均衡时并发恢复线程的个数,默认为2 
#cluster.routing.allocation.node_concurrent_recoveries: 2 

# 设置恢复时的吞吐量(例如:100mb,默认为0无限制.如果机器还有其他业务在跑的话还是限制一下的好) 
#indices.recovery.max_bytes_per_sec: 20mb 
# 设置来限制从其它分片恢复数据时最大同时打开并发流的个数,默认为5 
#indices.recovery.concurrent_streams: 5 
#注意: 合理的设置以上参数能有效的提高集群节点的数据恢复以及初始化速度

# --------------------------- Discovery ---------------------------
# 设置多少个符合主节点条件的节点引导集群，默认为1。对于大的集群来说,可以设置大一点的值(2-4) 
#discovery.zen.minimum_master_nodes: 1 
# 新版本代替 minimum_master_nodes 参数的，一组初始的符合主节点的节点引导集群
# 如果未设置 initial_master_nodes，那么在启动新节点时会尝试发现已有的集群。如果节点找不到可以加入的集群，将定期记录警告消息
#cluster.initial_master_nodes: ["node-1", "node-2"]
# 探查的超时时间,默认3秒,可以提高一点以应对网络不好的时候,防止脑裂
#discovery.zen.ping.timeout: 3s 

# 设置是否打开多播发现节点.默认是true. 当多播不可用或者集群跨网段的时候集群通信还是用单播吧 
#discovery.zen.ping.multicast.enabled: false 

# 集群主节点的初始列表,当节点启动时使用这个列表进行发现 
discovery.zen.ping.unicast.hosts: ["192.168.8.128:9300","192.168.8.129:9300","192.168.8.130:9300"]
# 新版本代替 ping.unicast.hosts 参数的，初始主机列表，节点启动时执行发现
#discovery.seed_hosts: ["host1", "host2"]

常用配置

# 集群名称，默认是elasticsearch
cluster.name: myes

# 节点名称
node.name: node-1

# 指定该节点是否有资格被选举成为master node，默认是true，es是默认集群中的第一台机器为master
node.master: true
# 指定该节点是否存储索引数据，默认为true
node.data: true

# 锁住物理内存，不使用swap内存，使有swap内存性能降低
bootstrap.memory_lock: true

# IP地址
network.host: 192.168.8.128
# 对外服务的http端口，默认为9200
http.port: 9200

# 使用head等插件监控集群信息，需要打开以下配置项
http.cors.enabled: true
http.cors.allow-origin: "*"

# 一组初始的符合主节点的节点引导集群，仅在集群首次启动会使用
# 如果未设置 initial_master_nodes，那么在启动新节点时会尝试发现已有的集群。如果节点找不到可以加入的集群，将定期记录警告消息
cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]
# 初始主机列表，节点启动时执行发现，每次启动
discovery.seed_hosts: ["192.168.8.128:9300", "192.168.8.129:9300","192.168.8.130:9300"]

4.配置

yzm1


yzm2和yzm3

物理内存足够大的话，可以开启
bootstrap.memory_lock: false

5.启动

yzm1
[es@yzm1 elasticsearch-7.16.2]$ ./bin/elasticsearch

有一个错误：
ERROR: [1] bootstrap checks failed. You must address the points described in the following [1] lines before starting Elasticsearch.
bootstrap check failure [1] of [1]: memory locking requested for elasticsearch process but memory is not locked
是由于 bootstrap.memory_lock: true导致的
解决方法一：关闭bootstrap.memory_lock:，会影响性能
解决方法二：
vim /etc/security/limits.conf
添加内容：

soft nofile 65536
hard nofile 65536
soft nproc 32000
hard nproc 32000
hard memlock unlimited
soft memlock unlimited

# 说明
nofile：最大开打开文件描述符
nproc：最大用户进程数
memlock：最大锁定内存地址空间

vim /etc/systemd/system.conf
添加内容：

DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity

yzm2和yzm3
vim /etc/security/limits.d/20-nproc.conf

es - nofile 65535
es - nproc 32000
es - memlock unlimited

如果启动后，就自动 Killed，是因为内存不足
配置内存
vim config/jvm.options

6 启动Head

npm run start