ES集群分布式详解

ES集群中各节点角色功能简介

本博客根据ES 715 ，介绍ES中各节点角色功能。集群节点角色可以在配置文件elasticsearchyml中通过noderoles配置，如果配置了节点角色，那么该节点将只会执行配置的角色功能；如果不配置，该节点将会执行以下角色功能：
1、如果私自配置节点信息，请确保集群配置有master角色的节点和data角色的节点

2、如果有较大的机器学习（machine learning）任务或转换（transform）任务，建议将候选的主节点（Master-eligible node）与数据节点（data node）、机器学习节点（machine learning node）和转换节点（transforming node）分开是很有必要的。

3、每个节点都默认为协调节点（Coordinating node），如果noderoles设置为[]那么该节点将只执行协调节点功能
ES集群

（1）Cluster：代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。

（2）Shards：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。

（3）replicas：代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。

（4）Recovery：代表数据恢复或叫数据重新分布，es在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。

（5）ES为什么要实现集群：在单台ES服务器节点上，随着业务量的发展索引文件慢慢增多，会影响到效率和内存存储问题等。ES集群，可以将单个索引的分片到多个不同分布式物理机器上存储，从而可以实现高可用、容错性等。ES集群中索引可能由多个分片构成，并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片，我们可以处理不能在一个单一的服务器上面运行的大型索引，简单的说就是索引的大小过大，导致效率问题。不能运行的原因可能是内存也可能是存储。由于每个分片可以有多个副本，通过将副本分配到多个服务器，可以提高查询的负载能力。

（6）es如何解决高并发：ES是一个分布式全文检索框架，隐藏了复杂的处理机制，内部使用 分片机制、集群发现、分片负载均衡请求路由。　Shards 分片:代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。Replicas分片:代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。
5、ES集群脑裂
6、ES集群的分布式存储

·  如新增一个文档流程 文档-->协调节点（hash运算）-->mater-->决策路由到对应主分片如node3节点-->同步副本分片到node2节点上-->返回结构到

协调节点coordinating node-->再传至matster

6、故障转移
·  停掉master

·  cerebro界面集群状态瞬间变黄了

·  这是之前master节点的分片开始转移至剩余的两个节点，集群剩余两个节点，且保证主副分片不在同一个几点

·  重新启动故障节点，集群再次恢复三个节点，分片自动转移过去，但是此时它已不是master节点

登录管理控制台。选择云服务器所在的区域。选择“计算 > d性云服务器”。选择需要 *** 作的云服务器，并单击云服务器名称。系统进入云服务器详情页面。系统进入云服务器详情页面。选择“标签 > 添加标签” 。填写标签键以及对应的标签值，单击“确定”，完成标签的添加。添加标签登录管理控制台。选择云服务器所在的区域。在云服务器列表页选择按标签搜索。按标
SAP NetWeaver实例运行在d性云服务器上。需要根据部署场景，创建一台或多台d性云服务器。请参见方案介绍和数据规划章节，确定d性云服务器数量及相关规划信息。根据界面提示，配置SAP NetWeaver云服务器网络信息，如表2所示。SAP NetWeaver云服务器网络配置参数说明网络请使用创建子网并设置安全组中对应的VPC、子网信
云计算的服务器需要芯片 相关内容
云容器实例(Cloud Container Instance，CCI)服务提供Serverless Container(无服务器容器)引擎，让您无需创建和管理服务器集群即可直接运行容器。Serverless是一种架构理念，是指不用创建和管理服务器、不用担心服务器的运行状态(服务器是否在工作等)，只需动态申请应用需要的资源，把服务器留给专门
在“资源使用详情”区域内，内存分配率统计了当前系统的真实情况，包括部分系统管理内存。各项指标的计算方法如下。总量：可用内存容量，指所有DeC物理服务器上的物理内存容量总和。内存总量数值为“分配给DeC物理服务器的总内存容量”减去“物理服务器的管理内存容量”。物理服务器的管理内存容量通常包括XEN，Kdump等管理d性云服务器时所需要的内存
云计算的服务器需要芯片 更多内容
0a0ca88b94963916c79cc35f28e2f501png
根据SAP部署方案，需要具有计算能力，内存和存储等不同配置的云服务器。下面我们介绍创建云服务器的基本步骤。
ea3d514774dda107c847f333927c833fpng
云耀云服务器适用于对CPU、内存、硬盘空间和带宽无特殊要求，服务一般只需要部署在一台或少量的服务器上，一次投入成本少，后期维护成本低的场景。例如网站开发，Web应用。推荐使用云耀云服务器，主要提供均衡的计算、内存和网络资源，适用于业务负载压力适中的应用场景，满足企业或个人普通业务搬迁上云需求。云耀云服务器可以提供基本水平的vCPU性能、平
39119fac39059b64817699818002d26apng
SAP HANA运行在HANA云服务器上。需要根据部署场景，创建一台或多台HANA云服务器，用于部署SAP HANA软件。
b5693ff7a1d6bd5360d83fe2bfafdfb3png
云耀云服务器创建成功后，您可以根据需求，修改云服务器的名称。系统支持批量修改多台云耀云服务器的名称，修改完成后，这些云耀云服务器的名称相同。登录控制台。单击管理控制台左上角的，选择区域和项目。选择“计算 > 云耀云服务器”。将鼠标移动至目标云服务器的“名称/ID”列。单击，根据界面提示，修改云服务器名称。允许重名：勾选后，允许修改后的名称
e8856eb4a33744e9e363326f14bf7b97png
d性云服务器(Elastic Cloud Server，ECS)是由CPU、内存、 *** 作系统、云硬盘组成的基础的计算组件。购买时通过选择实例规格、 *** 作系统、虚拟私有云、登录鉴权方式等信息实现计算、存储、网络等功能，使用过程中可以根据业务需求随时调整d性云服务器的规格，为您打造可靠、安全、灵活、高效的计算环境。了解d性云服务器的使用限制与使用
1a97c4f052299ae736e0af6fa2667c80png
d性云服务器创建成功后，您可以根据需求，修改云服务器的名称。系统支持批量修改多台d性云服务器的名称，修改完成后，这些d性云服务器的名称相同。登录管理控制台。单击管理控制台左上角的，选择区域和项目。选择“计算 > d性云服务器”。将鼠标移动至目标云服务器的“名称/ID”列。单击，根据界面提示，修改云服务器名称。允许重名：勾选后，允许修改后的
c0e51685ecf1c455eed0daf868911dc9png
本章节主要介绍d性云服务器、裸金属服务器和镜像服务，让您更好的了解这些计算服务。
f37b9b09b23d9b59f1b2d6c6affcfaccpng
专属云(DeC)专属虚拟化资源池。在专属云内，用户可申请独占物理设备，独享计算和网络资源，并使用可靠的分布式存储。专属虚拟化资源池。在专属云内，用户可申请独占物理设备，独享计算和网络资源，并使用可靠的分布式存储。专属存储服务(DSS)提供独享的存储资源，通过数据冗余和缓存加速等多项技术，提供高可用性和持久性，以及稳定的低时延性能；可灵活对
628a76026f26a9b0192a8fa75416b71fpng
将文件上传至Windows云服务器一般会采用MSTSC远程桌面连接的方式。本节为您介绍本地Windows计算机通过远程桌面连接，上传文件至Windows云服务器的 *** 作方法。Windows云服务器可以访问公网。在本地Windows计算机上，单击“开始”，在出现的“搜索程序和文件”输入框中输入mstsc。d出远程桌面连接对话框。d出远程桌面连
0b0fd50cfcc497558515f132e9f0a09epng
在SAP HANA系统中，需要创建一台(单NFS Server时)或两台(NFS Server主备时)云服务器，作为NFS Server，提供磁盘共享给SAP HANA节点。根据界面提示，配置NFS Server云服务器网络信息，如表2所示。d性云服务器创建完成后，在右侧界面的服务器列表中可查看到对应的服务器。仅在主备NFS Server
359866fbd3d89c6b4b0a93acc1fa4c87png
d性云服务器与周边服务的依赖关系如图1所示。d性云服务器与其他服务的关系示意图

---