主从负载均衡集群分布式微服务 服务器相关整理

一、主从服务器

1、两台服务器。主服务器Master复制数据的更新、插入、删除等 *** 作； 从服务器Slave负责查询（读写分离，减缓服务器压力）

2、主服务器更新数据的同时更新从服务器的数据（数据备份）

3、当主服务器出现文件时，可用从服务器代替主服务器，保证网站的正常运行，同时检测主服务器存在的问题。注意：从服务器仍然只有查询功能，如银行系统更新时只能查询余额，不能存取款。（服务器可用性）

4、当把从服务器真正设置为主服务器时（即主从服务器设置调换），拥有更新数据的功能。

5、MyISAM不支持事务，但查询性能比InnoDB强；InnoDB支持事务，更新 *** 作性能比MyISAM强。因此，主服务器可以设置成MyISAM存储引擎，从服务器可以设置成InnoDB存储引擎（灵活设置存储引擎）

二、负载均衡

1、多台服务器。一个域名映射到多台服务器IP。

2、用户发出请求，提交到负载均衡服务器，由负载均衡服务器发送请求到不同的服务器。

3、负载均衡服务器选取服务器方法（负载均衡算法）：

1、轮询：每台服务器轮换

2、加权轮询：为了应对某些服务器性能好，可以让他们的权重高一点，被选中的几率大一些。

3、最少连接：哪台服务器处理的连接少，就发给哪台服务器。

4、随机

4、存在的问题：客户端存在缓存，如果服务器出现故障，客户端报错。

5、分类：DNS负载均衡、>

最好是两个做成HA。

6T的数据容量,看你副本数量设置是多少,一般默认为3,那么仅这些就需要18T硬盘,稍微大一点20T吧;这仅仅是HDFS存储，(这里我说的是一个月的,你数据保存几个月,就乘几倍)。

如果你集群上面要跑计算,MR计算出来的数据要保存HDFS的,所以,还是要根据你的结果数据来做判断,大小就看你计算任务了。

一般是这样计算硬盘大小：

(原始数据+中间数据+结果数据)副本数量=总硬盘大小

都是软件自动的。到网上买正版软件就行了。现在winunix或数据库系统都可以。凡是搞维护的，软硬件一起的话通常就是服务器。公司个人的那种，也不需要工作人员手动管理，原因很简单，首先现在没办法手动管理也没人有能力进行手动管理，其次就是你有本事手动管理，那你走了后新工作人员怎么办。所以为了你走了后新人也能维护，同时为了效率，都是用软件。软件是自动的，只要设置好，会命令符就可以。至于硬件都是保修5年，坏了报修就是了。
至于读写速度，传输效率，也不是运维的事情，因为这在于投资，在于cpu速度，内存够大，在于网线速度，还在于硬盘质量，最多就是raid,但多台计算机还是要靠网线。有万兆网卡路由器带宽一切都能解决。更重要的是机房购买的电信的带宽。所以这在于老板的投资。只要没有人踢掉电源，弄断网线，那就没问题。
而且是仅仅支持局域网还是支持网络，要根据老板的要求进行。比如规模，做什么用，要不要装UPS电源。买什么级别的服务器。这关系到老板的经济能力。这些如果都不限制，那不如直接买电信的机房。
如果是小公司，没这么复杂，就是一两台服务器，其他电脑上传文件罢了，服务器做磁盘阵列，再弄个备份，保证某个硬盘挂了文件不丢失就是了。所以分情况。

搭建一个集群我们需要考虑如下几个问题：

备注：集群规划满足当前数据规模+适量增长规模即可，后续可按需扩展。

配置说明：
1）IP访问限制、默认端口修改9200
IP访问限制可以限定具体的IP访问服务器，这有一定的安全过滤作用。

如果设置成0000则是不限制任何IP访问。一般在生产的服务器可能会限定几台IP，通常用于管理使用。
es实例的默认端口号9200:

  这里的9300是集群内部通讯使用的端口，这个也可以修改掉。因为连接集群的方式有两种，通过扮演集群node也是可以进入集群的，所以还是安全起见，修改掉默认的端口。
说明：记得修改安装了ES的3台虚拟机（三个节点）的相同配置，要不然节点之间无法建立连接工作，也会报错。

让它去发现131，132的机器，以此内推，完成剩下的131和132机器的配置。
配置下集群名称，就是你当前节点所在集群的名称，这有助于你规划你的集群。集群中的所有节点的集群名称必须一样，只有集群名称一样才能组成一个逻辑集群。

配置你当前节点的名称：

  以此类推，完成另外两个节点的配置。clustername的名称必须保持一样。然后分别设置nodename。
说明：
  这里搭建的是一个简单的集群，没有做集群节点角色的区分，所以3个节点默认的角色有主节点、数据节点、协调节点
选举ES主节点的逻辑：
  选举的大概逻辑，它会根据分片的数据的前后新鲜程度来作为选举的一个重要逻辑。（日志、数据、时间都会作为集群master全局的重要指标）
  因为考虑到数据一致性问题，当然是用最新的数据节点作为master，然后进行新数据的复制和刷新其他node。

>集群最少要求有3台计算机。
在复制系统中，一个MySQL主服务器会更新一个或多个从服务器。事务是顺序地提交的，因此一个慢事务就可能导致从服务器比主服务器落后一段时间这也意味着，如果主服务器出错失败了，那么从服务器可能会缺少记录最后的那一小部分事务日志。如果使用的是事务安全存储引擎的话，例如InnoDB，那么事务日志则会完全记录到从服务器上去或者完全不记录，但是复制不能保证主和从服务器上的数据总是保持一致性。在MySQL集群中，所有的数据总是保持同步，在任何数据节点上提交的事务都同步到所有其他的数据节点上了。如果有一个数据节点失败了，其他正常的数据节点照样能保持数据的一致性。
集群最少要求有3台计算机，不过我们建议最好是4台。有2台分别运行管理节点和SQL节点，另外2台作为数据节点。采取2台数据节点的目的是提高数据的冗余度，管理节点放在一个独立的主机上是为了能够保证在万一有一台数据节点失败的情况下提供仲裁服务。

---