用JAVA设计分布式系统(java分布式开发)

分布式是一种思想，范围很广，我得先知道它的诞生：

以前是一个数据库一个JSP就可以做一个应用了，后来随着业务复杂，我们开始分层，比如MVC之类的，再后来我们的数据越来越多了，比如有上亿的数据，这个时候我们一个数据库查询太慢了，就开始分库，这也算是分布式的一种。

还有比如我们的系统访问的人多了，比如双11，上千万人同时访问，我们的服务器（网站）支持不住了，这个时候就要部署到很多个服务器，每个服务器分摊请求，这也是分布式

当然随着业务扩大，我们得分业务了，比如注册登录的，物流的，卖东西的等等，不同的系统，但是各个系统之间进行协调，也算分布式一种

以上都算是分布式的来源，主要是解决压力过大，大家协同工作的，那么这就涉及到一些常用的东西，或者像你说的的技术

1你用N个数据库才放数据，至少CRUD方面就麻烦些了，得用cobar,tddl,mysql-proxy等协调

2服务器：你部署了很多服务器，肯定得用个东西来分发请求这些吧，nginx,apache等分发请求。

3你公司有很多系统，想很好的联系在一起，光用接口不满足了，得用一些JMS,像activemq,ons之类的来协调吧

4为了解决io问题，得加缓存吧，那么缓存对应上面的，也得分布式吧，就涉及memcache,redies等等

上面就简单的介绍了下分布式的东西，还有很多啦，这是常用的一些，希望你能慢慢来，不是一下子能理解得

java的某些项目为什么要采用分布式开发，分布式开发

在数据库应用程序的开发过程中，网络已走到社会的各个角落。从金融行业的银行联网、交通行业的售票系统、公安系统的全国户籍管理等等，这些企业或行业单位之间地理分布性或业务分布性，使得一个企业或行业拥有多个网络服务器，如何在这种分布式的网络环境下实现高效的数据库应用程序的开发是一个重要的问题。

分布式应用开发简单的说，是指将用户界面、控制台服务、数据库管理三个层次部署在不同的位置上。其中用户界面是客户端实现的功能，控制台服务是一个专门的服务器，数据管理是在一个专门的数据库服务器上实现的。

提示：这里的Web服务器，都是指软件（如IIS等Web服务器软件），它和Web服务器应用以及其它程序等，共同存在于服务器计算机上。

控制台CGI应用：是一个独立的控制台EXE。它在一个标准输入设备上接收客户端的请求信息，在标准输出设备上将结果返回给服务器。

分布式数据库系统已经成为信息处理学科的重要领域，正在迅速发展之中，原因是什么？

1、它可以解决组织机构分散而数据需要相互联系的问题。比如银行系统，总行与各分行处于不同的城市或城市中的各个地区，在业务上它们需要处理各自的数据，也需要彼此之间的交换和处理，这就需要分布式的系统。

2、如果一个组织机构需要增加新的相对自主的组织单位来扩充机构，则分布式数据库系统可以在对当前机构影响最小的情况下进行扩充。

3、均衡负载的需要。数据的分解采用使局部应用达到最大，这使得各处理机之间的相互干扰降到最低。负载在各处理机之间分担，可以避免临界瓶颈。

4、当现有机构中已存在几个数据库系统，而且实现全局应用的必要性增加时，就可以由这些数据库自下而上构成分布式数据库系统。

5、相等规模的分布式数据库系统在出现故障的几率上不会比集中式数据库系统低，但由于其故障的影响仅限于局部数据应用，因此就整个系统来讲它的可靠性是比较高的。

分布式服务器上下线动态感知（Hadoop HA）
HDFS集群中NameNode 存在单点故障问题，对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。

影响HDFS集群不可用主要包括以下两种情况：

NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用。

计划需要对NameNode节点软件或硬件升级，导致集群在短时间内不可用。

为了解决上述问题，Hadoop给出了HDFS的 高可用 HA方案：HDFS的HA通常由两个NameNode组成，一个处于 active 状态，另一个处于 standby 状态。Active NameNode对外提供服务，比如处理来自客户端的RPC请求，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。而这里的快速切换是如何实现的呢？是通过zookeeper的 动态上线感知 来实现的。

简单介绍下zookeeper是什么？

ZooKeeper 顾名思义  动物园管理员 ，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig)  的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei  等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，ZooKeeper是以Fast Paxos算法为基础，实现同步服务，配置维护和命名服务等分布式应用。这是zookeeper的官方介绍，对于程序原来说zookeeper在hadoop中的应用可以理解为是hadoop的整体监控系统，如果namenode宕机后，这时候Zookeeper 的重新选出leader。这是它最大的作用所在。

接下来看看zookeeper的 动态上线感知 图：

1、首先在hadoop中配置自动故障转移机制。

2、在配置HA的时候首先配置zookeeper集群，然后启动zookeeper集群。

3、在第一次启动hadoop的HA之前先初始化HA在zookeeper中的状态然后启动HA，在启动过程中会在各个NameNode节点上启动DFSZK Failover Controller，作用就是向zookeeper中注册服务器的信息，然后hadoop通过进程监控在zookeeper中的节点状态。

4、在zookeeper中注册的节点是临时节点，当服务器宕机下线的时候，zookeeper会把这个节点删除掉，这样才会产生事件，客户端（hadoop）才能监听到，然后hadoop将Standby NameNode转换为Active NameNode。

域名系统DNS(Domain Name System)是因特网使用的命名系统，用来把便于人们使用的机器名字转换成为IP地址。域名系统其实就是名字系统。为什么不叫“名字”而叫“域名”呢？这是因为在这种因特网的命名系统中使用了许多的“域(domain)”，因此就出现了“域名”这个名词。“域名系统”明确地指明这种系统是应用在因特网中。

我们都知道，IP地址是由32位的二进制数字组成的。用户与因特网上某台主机通信时，显然不愿意使用很难记忆的长达32位的二进制主机地址。即使是点分十进制IP地址也并不太容易记忆。相反，大家愿意使用比较容易记忆的主机名字。但是，机器在处理IP数据报时，并不是使用域名而是使用IP地址。这是因为IP地址长度固定，而域名的长度不固定，机器处理起来比较困难。

因为因特网规模很大，所以整个因特网只使用一个域名服务器是不可行的。因此，早在1983年因特网开始采用层次树状结构的命名方法，并使用分布式的域名系统DNS。并采用客户服务器方式。DNS使大多数名字都在本地解析(resolve)，仅有少量解析需要在因特网上通信，因此DNS系统的效率很高。由于DNS是分布式系统，即使单个计算机除了故障，也不会妨碍整个DNS系统的正常运行。

域名到IP地址的解析是由分布在因特网上的许多域名服务器程序共同完成的。域名服务器程序在专设的结点上运行，而人们也常把运行域名服务器程序的机器称为域名服务器。

域名到IP地址的解析过程的要点如下：当某一个应用需要把主机名解析为IP地址时，该应用进程就调用解析程序，并称为DNS的一个客户，把待解析的域名放在DNS请求报文中，以UDP用户数据报方式发给本地域名服务器。本地域名服务器在查找域名后，把对应的IP地址放在回答报文中返回。应用程序获得目的主机的IP地址后即可进行通信。

若本地域名服务器不能回答该请求，则此域名服务器就暂时称为DNS的另一个客户，并向其他域名服务器发出查询请求。这种过程直至找到能够回答该请求的域名服务器为止。此过程在后面作进一步讨论。

由于因特网的用户数量较多，所以因特网在命名时采用的是层次树状结构的命名方法。任何一个连接在因特网上的主机或路由器，都有一个唯一的层次结构的名字，即域名(domain name)。这里，“域”(domain)是名字空间中一个可被管理的划分。

从语法上讲，每一个域名都是有标号(label)序列组成，而各标号之间用点(小数点)隔开。

这是中央电视台用于手法电子邮件的计算机的域名，它由三个标号组成，其中标号com是顶级域名，标号cctv是二级域名，标号mail是三级域名。

DNS规定，域名中的标号都有英文和数字组成，每一个标号不超过63个字符(为了记忆方便，一般不会超过12个字符)，也不区分大小写字母。标号中除连字符(-)外不能使用其他的标点符号。级别最低的域名写在最左边，而级别最高的字符写在最右边。由多个标号组成的完整域名总共不超过255个字符。DNS既不规定一个域名需要包含多少个下级域名，也不规定每一级域名代表什么意思。各级域名由其上一级的域名管理机构管理，而最高的顶级域名则由ICANN进行管理。用这种方法可使每一个域名在整个互联网范围内是唯一的，并且也容易设计出一种查找域名的机制。

域名只是逻辑概念，并不代表计算机所在的物理地点。据2006年12月统计，现在顶级域名TLD(Top Level Domain)已有265个，分为三大类：

如果采用上述的树状结构，每一个节点都采用一个域名服务器，这样会使得域名服务器的数量太多，使域名服务器系统的运行效率降低。所以在DNS中，采用划分区的方法来解决。

一个服务器所负责管辖(或有权限)的范围叫做区(zone)。各单位根据具体情况来划分自己管辖范围的区。但在一个区中的所有节点必须是能够连通的。每一个区设置相应的权限域名服务器，用来保存该区中的所有主机到域名IP地址的映射。总之，DNS服务器的管辖范围不是以“域”为单位，而是以“区”为单位。区是DNS服务器实际管辖的范围。区 <= 域。

下图是区的不同划分方法的举例。假定abc公司有下属部门x和y，部门x下面有分三个分布们u,v,w，而y下面还有下属部门t。图a表示abc公司只设一个区abccom。这是，区abccom和域abccom指的是同一件事。但图b表示abc公司划分为两个区：abccom和yabccom。这两个区都隶属于域abccom，都各设置了相应的权限域名服务器。不难看出，区是域的子集。

下图是以上图b中abc公司划分的两个区为例，给出了DNS域名服务器树状结构图。这种DNS域名服务器树状结构图可以更准确地反映出DNS的分布式结构。图中的每一个域名服务器都能够部分域名到IP地址的解析。当某个DNS服务器不能进行域名到IP地址的转换时，它就会设法找因特网上别的域名服务器进行解析。

从下图可以看出，因特网上的DNS服务器也是按照层次安排的。每一个域名服务器只对域名体系中的一部分进行管辖。根据域名服务器所起的作用，可以把域名服务器划分为下面四种不同的类型。

根域名服务器：最高层次的域名服务器，也是最重要的域名服务器。所有的根域名服务器都知道所有的顶级域名服务器的域名和IP地址。不管是哪一个本地域名服务器，若要对因特网上任何一个域名进行解析，只要自己无法解析，就首先求助根域名服务器。所以根域名服务器是最重要的域名服务器。假定所有的根域名服务器都瘫痪了，那么整个DNS系统就无法工作。需要注意的是，在很多情况下，根域名服务器并不直接把待查询的域名直接解析出IP地址，而是告诉本地域名服务器下一步应当找哪一个顶级域名服务器进行查询。

顶级域名服务器：负责管理在该顶级域名服务器注册的二级域名。

权限域名服务器：负责一个“区”的域名服务器。

本地域名服务器：本地服务器不属于下图的域名服务器的层次结构，但是它对域名系统非常重要。当一个主机发出DNS查询请求时，这个查询请求报文就发送给本地域名服务器。

注意：

下面举一个例子演示整个查询过程：

浪潮是一家中国的服务器制造商，提供各种类型的服务器产品。以下是浪潮服务器的一些主要分类：
1 塔式服务器（Tower Server）：塔式服务器适用于中小企业和分支机构等小型办公环境，具有较低的噪音和较小的空间占用。浪潮的塔式服务器产品线包括 T系列。
2 机架式服务器（Rack Server）：机架式服务器适用于数据中心和大型企业，设计为与标准机架兼容，便于集成和管理。浪潮的机架式服务器产品线包括 R系列。
3 刀片式服务器（Blade Server）：刀片式服务器是一种高密度、可扩展的服务器解决方案，适合大型数据中心和云计算环境。浪潮的刀片式服务器产品线包括 H系列。
4 高性能计算服务器（High-Performance Computing Server）：高性能计算服务器专为高性能计算（HPC）任务和人工智能（AI）应用设计，提供最高可用性和性能。浪潮的高性能计算服务器产品线包括 X系列。
5 分布式存储服务器（Distributed Storage Server）：用于大数据存储和处理的服务器，通过分布式存储架构提供高可用性、可扩展性和容错性。如浪潮翼龙存储服务器等。
6 GPU服务器（GPU Server）：适用于图形处理、深度学习和其他需要高性能并行计算能力的场景。浪潮的GPU服务器产品线包括 G系列。
此外，浪潮还提供定制服务器解决方案，以满足特定行业或应用场景的需求。以上是浪潮服务器的几种主要类型，实际选择时需要根据应用场景、性能需求和预算等因素进行综合考虑。

分布式系统一定是由多个节点组成的系统。

其中，节点指的是计算机服务器，而且这些节点一般不是孤立的，而是互通的。

这些连通的节点上部署了我们的节点，并且相互的 *** 作会有协同。

分布式系统对于用户而言，他们面对的就是一个服务器，提供用户需要的服务而已，

而实际上这些服务是通过背后的众多服务器组成的一个分布式系统，因此分布式系统看起来像是一个超级计算机一样。

集群是指在几个服务器上部署相同的应用程序来分担客户端的请求。

它是同一个系统部署在不同的服务器上，比如一个登陆系统部署在不同的服务器上。

好比多个人一起做同样的事。

集群主要的使用场景是为了分担请求的压力。

但是，当压力进一步增大的时候，可能在需要存储的部分，比如mysql无法面对大量的“写压力”。

因为在mysql做成集群之后，主要的写压力还是在master的机器上，其他slave机器无法分担写压力，这时，就引出了“分布式”。

分布式是指多个系统协同合作完成一个特定任务的系统。

它是不同的系统部署在不同的服务器上，服务器之间相互调用。

好比多个人一起做不同的事。

分布式是解决中心化管理的问题，把所有的任务叠加到一个节点处理，太慢了。

所以把一个大问题拆分为多个小问题，并分别解决，最终协同合作。

分布式的主要工作是分解任务，把职能拆解。

分布式的主要应用场景是单台机器已经无法满足这种性能的要求，必须要融合多个节点，并且节点之间的相关部分是有交互的。

相当于在写mysql的时候，每个节点存储部分数据（分库分表），这就是分布式存储的由来。

存储一些非结构化数据：静态文件、、pdf、小视频 这些也是分布式文件系统的由来。

1、什么是数据中心分布式部署
数据中心分布式部署，边缘数据中心是基础，是CDN的更下一层，服务对象是IDC及CDN需求的客户。对于流量大的客户，可多点分布，就近部署。
2、分布式部署的好处
A:在全国没有任何一个数据中心可以覆盖全国的每个角落，数据中心集中在一个点不能更好的服务全国各区域。分布式部署相当于在欧洲很多个国家之间的互联网关系。二三线城市就近布点，三级城市网络品质提升。针对网游、网络视频、网络下载等全国分布节点需求较高的客户，选择分布式节点托管在降低成本的同时还更好的保障了二、三级城市业务的网络运营品质，提升用户体验。
B:二三级城市较低的资源成本直接降低了客户网络资源投入。在良好品质保障的情况下，以更低价格购入，实现良好性价比。

---