Elasticsearch 入门(4)：节点、集群、分片、复制、集群配置，故障转移，吞吐量提升，故障应对

Elasticsearch 入门(4)：节点、集群、分片、复制、集群配置，故障转移，吞吐量提升，故障应对 Elastic 环境 单机与集群

单台 Elasticsearch 服务器提供服务，往往都有最大的负载能力，超过这个阈值，服务器性能就会大大降低甚至不可用，所以生产环境中，一般都是运行在指定服务器集群中。
除了负载能力，单点服务器也存在其他问题：

• 单台机器存储容量有限
• 单服务器容易出现单点故障，无法实现高可用
• 单服务的并发处理能力有限

配置服务器集群时，集群中节点数量没有限制，大于等于 2 个节点就可以看做是集群了。一般出于高性能及高可用方面来考虑集群中节点数量都是 3 个以上。

集群 Cluster

• 一个集群就是由一个或多个服务器节点组织在一起，共同持有整个的数据，并一起提供索引和搜索功能。一个 Elasticsearch 集群有一个唯一的名字标识，这个名字默认就是 ”elasticsearch”。
• 这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。

节点 Node

• 集群中包含很多服务器，一个节点就是其中的一个服务器。作为集群的一部分，它存储数据，参与集群的索引和搜索功能。
• 一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于 Elasticsearch 集群中的哪些节点。
• 一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做 “elasticsearch” 的集群中
• 这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做 “elasticsearch” 的集群中。
• 在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何 Elasticsearch 节点，这时启动一个节点，会默认创建并加入一个叫做 “elasticsearch”的集群。

Windows集群 1、创建文件夹与 elasticsearch 服务

• 创建 elasticsearch-cluster 文件夹，在内部复制三个 elasticsearch 服务:
  

2、修改配置文件

修改集群文件目录中每个节点的 config/elasticsearch.yml 配置文件

• node-1001 节点:

  #节点 1 的配置信息：
  #集群名称，节点之间要保持一致
  cluster.name: my-elasticsearch
  #节点名称，集群内要唯一
  node.name: node-1001
  node.master: true
  node.data: true
  #ip 地址
  network.host: localhost
  #http 端口
  http.port: 1001
  #tcp 监听端口
  transport.tcp.port: 9301
  #discovery.seed_hosts: ["localhost:9301", "localhost:9302","localhost:9303"]
  #discovery.zen.fd.ping_timeout: 1m
  #discovery.zen.fd.ping_retries: 5
  #集群内的可以被选为主节点的节点列表
  #cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
  #跨域配置
  #action.destructive_requires_name: true
  http.cors.enabled: true
  http.cors.allow-origin: "*"
  

• node-1002 节点

  #节点 2 的配置信息：
  #集群名称，节点之间要保持一致
  cluster.name: my-elasticsearch
  #节点名称，集群内要唯一
  node.name: node-1002
  node.master: true
  node.data: true
  #ip 地址
  network.host: localhost
  #http 端口
  http.port: 1002
  #tcp 监听端口
  transport.tcp.port: 9302
  #候选节点集合
  discovery.seed_hosts: ["localhost:9301"]
  discovery.zen.fd.ping_timeout: 1m
  discovery.zen.fd.ping_retries: 5
  #集群内的可以被选为主节点的节点列表
  #cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
  #跨域配置
  #action.destructive_requires_name: true
  http.cors.enabled: true
  http.cors.allow-origin: "*"
  

• node-1003 节点

  #节点 3 的配置信息：
  #集群名称，节点之间要保持一致
  cluster.name: my-elasticsearch
  #节点名称，集群内要唯一
  node.name: node-1003
  node.master: true
  node.data: true
  #ip 地址
  network.host: localhost
  #http 端口
  http.port: 1003
  #tcp 监听端口
  transport.tcp.port: 9303
  #候选主节点的地址，在开启服务后可以被选为主节点
  discovery.seed_hosts: ["localhost:9301", "localhost:9302"]
  discovery.zen.fd.ping_timeout: 1m
  discovery.zen.fd.ping_retries: 5
  #集群内的可以被选为主节点的节点列表
  #cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
  #跨域配置
  #action.destructive_requires_name: true
  http.cors.enabled: true
  http.cors.allow-origin: "*"
  

3、启动集群

• 启动前先删除每个节点中的 data 目录中所有内容（如果存在）
  
• 分别双击执行 bin/elasticsearch.bat, 启动节点服务器，启动后，会自动加入指定名称的集群
  

4、测试集群

• node-1001 节点
  

• node-1002 节点
  

• node-1003 节点
  

• 状态含义：
  

• 向集群中的 node-1001 节点增加索引
  

• 向集群中的 node-1002 节点查询索引
  

核心概念 索引(Index)

• 一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。
• 一个索引由一个名字来标识（必须全部是小写字母），并且当我们要对这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。
• 在一个集群中，可以定义任意多的索引。能搜索的数据必须索引，这样的好处是可以提高查询速度，Elasticsearch 索引的精髓：一切设计都是为了提高搜索的性能。

类型(Type)

• 在一个索引中，你可以定义一种或多种类型。
• 一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。
• 不同的版本，类型发生了不同的变化： 版本Type5.x支持多种 type6.x只能有一种 type7.x默认不再支持自定义索引类型（默认类型为：_doc）

文档（document）

• 一个文档是一个可被索引的基础信息单元，也就是一条数据
• 比如：你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。
• 文档以 JSON（Javascript Object Notation）格式来表示，而 JSON 是一个
  到处存在的互联网数据交互格式。
• 在一个 index/type 里面，你可以存储任意多的文档。

字段（Field）

• 相当于是数据表的字段，对文档数据根据不同属性进行的分类标识。

映射（Mapping）

• mapping 是处理数据的方式和规则方面做一些限制，如：某个字段的数据类型、默认值、分析器、是否被索引等等。这些都是映射里面可以设置的
• 其它就是处理 ES 里面数据的一些使用规则设置也叫做映射，按着最优规则处理数据对性能提高很大，因此才需要建立映射，并且需要思考如何建立映射才能对性能更好。

分片（Shards）

• 一个索引可以存储超出单个节点硬件限制的大量数据。比如，一个具有 10 亿文档数据的索引占据 1TB 的磁盘空间，而任一节点都可能没有这样大的磁盘空间。或者单个节点处理搜索请求，响应太慢。
• 为了解决这个问题，Elasticsearch 提供了将索引划分成多份的能力，每一份就称之为分片。
• 当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。

分片很重要，主要有两方面的原因：

• 1）允许你水平分割 / 扩展你的内容容量。

• 2）允许你在分片之上进行分布式的、并行的 *** 作，进而提高性能/吞吐量。

• 至于一个分片怎样分布，它的文档怎样聚合和搜索请求，是完全由 Elasticsearch 管理的，对于作为用户的你来说，这些都是透明的，无需过分关心。

  被混淆的概念是，一个Lucene 索引我们在 Elasticsearch 称作 分片 。 一个 Elasticsearch 索引 是分片的集合。- 当 Elasticsearch 在索引中搜索的时候， 他发送查询到每一个属于索引的分片( Lucene 索引 )，然后合并每个分片的结果到一个全局的结果集。

副本（Replicas）

在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。

• 为此目的，Elasticsearch 允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片(副本)。 一个分片的备份

复制分片之所以重要，有两个主要原因：

• 在分片/节点失败的情况下，提供了高可用性。
• 扩展你的 搜索量/吞吐量，因为搜索可以在所有的副本上并行运行。

总之，每个索引可以被分成多个分片。一个索引也可以被复制 0 次（意思是没有复制）或多次。

• 一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。
• 分片和复制的数量可以在索引创建的时候指定。
• 在索引创建之后，可以动态改变复制的数量，但不能改变分片的数量。

默认情况下，

• Elasticsearch 中的每个索引都会被分成 1 个主分片和 1 个复制
• 如果你的集群中至少有两个节点，你的索引将会有 1 个主分片和另外 1 个复制分片，这样的话每个索引总共就有 2 个分片，我们需要根据索引需要确定分片个数。

分配（Allocation）

• 将分片分配给某个节点的过程，包括分配主分片或者副本。
• 如果是副本，还包含从主分片复制数据的过程。这个过程是由 master 节点完成的。主从同步
  

系统架构

• 一个运行中的 Elasticsearch 实例称为一个节点，而集群是由一个或者多个拥有相同 cluster.name 配置的节点组成， 它们共同承担数据和负载的压力。
• 当有节点加入集群中或者从集群中移除节点时，集群将会重新平均分布所有的数据。
• 当一个节点被选举成为主节点时， 它将负责管理集群范围内的所有变更，例如增加、删除索引，或者增加、删除节点等。 而主节点并不需要涉及到文档级别的变更和搜索等 *** 作，所以当集群只拥有一个主节点的情况下，即使流量的增加它也不会成为瓶颈。简单来说，主节点只负责索引的增删改，并不复杂文档的增删改查
• 任何节点都可以成为主节点。我们的示例集群就只有一个节点，所以它同时也成为了主节点。
• 作为用户，我们可以将请求发送到集群中的任何节点 ，包括主节点。 每个节点都知道任意文档所处的位置，并且能够将我们的请求直接转发到存储我们所需文档的节点。
• 无论我们将请求发送到哪个节点，它都能负责从各个包含我们所需文档的节点收集回数据，并将最终结果返回給客户端。

分布式集群 单节点集群

• 我们在包含一个空节点的集群内创建名为 users 的索引，为了演示目的，我们将分配 3 个主分片和一份副本（每个主分片拥有一个副本分片）

  {
   "settings" : {
   "number_of_shards" : 3,
   "number_of_replicas" : 1
   }
  }
  

• 我们的集群现在是拥有一个索引的单节点集群。所有 3 个主分片都被分配在 node-1 。
  

• 通过 elasticsearch-head 插件查看集群情况

故障转移

当集群中只有一个节点在运行时，意味着会有一个单点故障问题——没有冗余。 幸运的是，我们只需再启动一个节点即可防止数据丢失。

• 当你在同一台机器上启动了第二个节点时，只要它和第一个节点有同样的 cluster.name 配置，它就会自动发现集群并加入到其中。
• 但是在不同机器上启动节点的时候，为了加入到同一集群，你需要配置一个可连接到的单播主机列表。之所以配置为使用单播发现，以防止节点无意中加入集群。
• 只有在同一台机器上运行的节点才会自动组成集群。

如果启动了第二个节点，我们的集群将会拥有两个节点的集群 : 所有主分片和副本分片都已被分配:

通过 elasticsearch-head 插件查看集群情况

水平扩容

怎样为我们的正在增长中的应用程序按需扩容呢？当启动了第三个节点，我们的集群将会拥有三个节点的集群 : 为了分散负载而对分片进行重新分配： （集群扩容或缩小，Elasticsearch 将会自动在节点间迁移分片，以使集群保持平衡。）

通过 elasticsearch-head 插件查看集群情况

吞吐量的提高：

• 主分片的数目在索引创建时就已经确定了下来。实际上，这个数目定义了这个索引能够存储 的最大数据量。（实际大小取决于你的数据、硬件和使用场景。）
• 但是，读 *** 作，即搜索和返回数据，可以同时被主分片 或 副本分片所处理，所以当你拥有越多的副本分片时，也将拥有越高的吞吐量。
• 在运行中的集群上是可以动态调整副本分片数目的，我们可以按需伸缩集群。让我们把副本数从默认的 1 增加到 2

  {
   "number_of_replicas" : 2
  }
  

• users 索引现在拥有 9 个分片：3 个主分片和 6 个副本分片。 这意味着我们可以将集群扩容到 9 个节点，每个节点上一个分片。相比原来 3 个节点时，集群搜索性能可以提升 3 倍。(相当于总数不变的情况下，并发查找的线程增大，搜索性能自然提高)
  
• 当然，如果只是在相同节点数目的集群上增加更多的副本分片并不能提高性能，因为每个分片从节点上获得的资源会变少。 你需要增加更多的硬件资源来提升吞吐量。
• 但是更多的副本分片数提高了数据冗余量：按照上面的节点配置，我们可以在失去 2 个节点的情况下不丢失任何数据。高可用性

应对故障

我们关闭第一个节点，这时集群的状态为: 关闭了一个节点后的集群。

• 我们关闭的节点是一个主节点。而集群必须拥有一个主节点来保证正常工作，所以发生的第一件事情就是选举一个新的主节点： Node 2 。

• 在我们关闭 Node 1 的同时也失去了主分片 1 和 2 ，并且在缺失主分片的时候索引也不能正常工作。

• 如果此时来检查集群的状况，我们看到的状态将会为 red ：不是所有主分片都在正常工作。
  

  • 幸运的是，在其它节点上存在着这两个主分片的完整副本， 所以新的主节点立即将这些分片在 Node 2 和Node 3 上对应的副本分片提升为主分片， 此时集群的状态将会为 yellow。这个提升主分片的过程是瞬间发生的，如同按下一个开关一般。
  • 此时为 yellow 不为 green 的原因是，该集群设置是为两个副本，但是现在只存在一个副本了，因此集群被设置为了 yello 而不是green.

• 如果我们重新启动 Node 1 ，集群可以将缺失的副本分片再次进行分配，那么集群的状态也将恢复成之前的状态。

• 如果 Node 1 依然拥有着之前的分片，它将尝试去重用它们，同时仅从主分片复制发生了修改的数据文件。可以理解为Kafka里面的SRA机制。和之前的集群相比，只是 Master 节点切换了。