1单一应用框架(ORM)
当网站流量很小时，只需一个应用，将所有功能如下单支付等都部署在一起，以减少部署节点和成本。
缺点：单一的系统架构，使得在开发过程中，占用的资源越来越多，而且随着流量的增加越来越难以维护
2垂直应用框架(MVC)
垂直应用架构解决了单一应用架构所面临的扩容问题，流量能够分散到各个子系统当中，且系统的体积可控，一定程度上降低了开发人员之间协同以及维护的成本，提升了开发效率。
缺点：但是在垂直架构中相同逻辑代码需要不断的复制，不能复用。
3分布式应用架构(RPC)
当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心
4流动计算架构(SOA)
随着服务化的进一步发展，服务越来越多，服务之间的调用和依赖关系也越来越复杂，诞生了面向服务的架构体系(SOA)，也因此衍生出了一系列相应的技术，如对服务提供、服务调用、连接处理、通信协议、序列化方式、服务发现、服务路由、日志输出等行为进行封装的服务框架
从以上是电商系统的演变可以看出架构演变的过程：
1单一应用架构
当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。
此时，用于简化增删改查工作量的 数据访问框架(ORM) 是关键。
2垂直应用架构
当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，将应用拆成互不相干的几个应用，以提升效率。
此时，用于加速前端页面开发的 Web框架(MVC) 是关键。
3分布式服务架构
当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，使前端应用能更快速的响应多变的市场需求。
此时，用于提高业务复用及整合的 分布式服务框架(RPC) 是关键。
4流动计算架构
当服务越来越多，容量的评估，小服务资源的浪费等问题逐渐显现，此时需增加一个调度中心基于访问压力实时管理集群容量，提高集群利用率。
此时，用于提高机器利用率的 资源调度和治理中心(SOA) 是关键。
在这里插播一条关于RPC的简介：
RPC(Remote Procedure Call Protocol)：远程过程调用：
两台服务器A、B，分别部署不同的应用a,b。当A服务器想要调用B服务器上应用b提供的函数或方法的时候，由于不在一个内存空间，不能直接调用，需要通过网络来表达调用的语义传达调用的数据。
说白了，就是你在你的机器上写了一个程序，我这边是无法直接调用的，这个时候就出现了一个远程服务调用的概念。
RPC是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。
RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用信息到达为止。当一个调用信息到达，服务器获得进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最后，客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。
RPC需要解决的问题：
通讯问题 : 主要是通过在客户端和服务器之间建立TCP连接，远程过程调用的所有交换的数据都在这个连接里传输。连接可以是按需连接，调用结束后就断掉，也可以是长连接，多个远程过程调用共享同一个连接。
寻址问题 ：
A服务器上的应用怎么告诉底层的RPC框架，如何连接到B服务器（如主机或IP地址）以及特定的端口，方法的名称名称是什么，这样才能完成调用。比如基于Web服务协议栈的RPC，就要提供一个endpoint URI，或者是从UDDI服务上查找。如果是RMI调用的话，还需要一个RMI Registry来注册服务的地址。
序列化 与 反序列化 ：
当A服务器上的应用发起远程过程调用时，方法的参数需要通过底层的网络协议如TCP传递到B服务器，由于网络协议是基于二进制的，内存中的参数的值要序列化成二进制的形式，也就是序列化（Serialize）或编组（marshal），通过寻址和传输将序列化的二进制发送给B服务器。
同理，B服务器接收参数要将参数反序列化。B服务器应用调用自己的方法处理后返回的结果也要序列化给A服务器，A服务器接收也要经过反序列化的过程。
Dubbo是
1什么Dubbo是：一款分布式服务框架
2高性能和透明化的RPC远程服务调用方案
3SOA服务治理方案
每天为2千多个服务提供大于30亿次访问量支持，并被广泛应用于阿里巴巴集团的各成员站点以及别的公司的业务中。
Dubbo架构
Provider: 暴露服务的服务提供方。
Consumer: 调用远程服务的服务消费方。
Registry: 服务注册与发现的注册中心。
Monitor: 统计服务的调用次数和调用时间的监控中心。
调用流程
0服务容器负责启动，加载，运行服务提供者。
1服务提供者在启动时，向注册中心注册自己提供的服务。
2服务消费者在启动时，向注册中心订阅自己所需的服务。
3注册中心返回服务提供者地址列表给消费者，如果有变更，注册中心将基于长连接推送变更数据给消费者。
4服务消费者，从提供者地址列表中，基于软负载均衡算法，选一台提供者进行调用，如果调用失败，再选另一台调用。
5服务消费者和提供者，在内存中累计调用次数和调用时间，定时每分钟发送一次统计数据到监控中心
Dubbo注册中心
对于服务提供方，它需要发布服务，而且由于应用系统的复杂性，服务的数量、类型也不断膨胀；
对于服务消费方，它最关心如何获取到它所需要的服务，而面对复杂的应用系统，需要管理大量的服务调用。
而且，对于服务提供方和服务消费方来说，他们还有可能兼具这两种角色，即既需要提供服务，有需要消费服务。
通过将服务统一管理起来，可以有效地优化内部应用对服务发布/使用的流程和管理。服务注册中心可以通过特定协议来完成服务对外的统一。
Dubbo提供的注册中心有如下几种类型可供选择：
Multicast注册中心
Zookeeper注册中心
Redis注册中心
Simple注册中心
Dubbo优缺点
优点：
1透明化的远程方法调用
- 像调用本地方法一样调用远程方法；
只需简单配置，没有任何API侵入。
2,软负载均衡及容错机制
可在内网替代nginx lvs等硬件负载均衡器。
3服务注册中心自动注册 & 配置管理
-不需要写死服务提供者地址，注册中心基于接口名自动查询提供者ip。
使用类似zookeeper等分布式协调服务作为服务注册中心，可以将绝大部分项目配置移入zookeeper集群。
4服务接口监控与治理
-Dubbo-admin与Dubbo-monitor提供了完善的服务接口管理与监控功能，针对不同应用的不同接口，可以进行 多版本，多协议，多注册中心管理。
缺点：
只支持JAVA语言
Dubbo入门Demo
了解了Dubbo以后，自然要搭建一个简单的Demo实现。本文采用Dubbo与Zookeeper、Spring框架的整合。
主要是以下几个步骤：
1 安装Zookeeper,启动；
2 创建MAVEN项目，构建Dubbo+Zookeeper+Spring实现的简单Demo；
3 安装Dubbo-admin，实现监控。
1 Zookeeper介绍与安装
本Demo中的Dubbo注册中心采用的是Zookeeper。为什么采用Zookeeper呢？ Zookeeper是一个分布式的服务框架，是树型的目录服务的数据存储，能做到集群管理数据 ，这里能很好的作为Dubbo服务的注册中心。
Dubbo能与Zookeeper做到集群部署，当提供者出现断电等异常停机时，Zookeeper注册中心能自动删除提供者信息，当提供者重启时，能自动恢复注册数据，以及订阅请求具体的安装方法在此不一一叙述，可参考博文：
/details/52028945
安装完成后，进入到bin目录，并且启动zkServercmd，这个脚本中会启动一个java进程：
(注：需要先启动zookeeper后，后续dubbo demo代码运行才能使用zookeeper注册中心的功能)
2 创建MAVEN项目
项目结构：
主要分三大模块：
dubbo-api : 存放公共接口；
dubbo-consumer : 调用远程服务；
dubbo-provider : 提供远程服务。
下面将详细叙述代码构建过程。
1) 首先构建MAVEN项目，导入所需要的jar包依赖。
需要导入的有spring, dubbo, zookeeper等jar包。
(详情参看后面提供的项目代码)
2)创建dubbo-api的MAVEN项目(有独立的pomxml，用来打包供提供者消费者使用)。
在项目中定义服务接口：该接口需单独打包，在服务提供方和消费方共享。
3)创建dubbo-provider的MAVEN项目(有独立的pomxml，用来打包供消费者使用)。
实现公共接口，此实现对消费者隐藏：
需加入公共接口所在的依赖
用Spring配置声明暴露服务
启动远程服务：
4)创建dubbo-consumer的MAVEN项目(可以有多个consumer，但是需要配置好)。
调用所需要的远程服务：
通过Spring配置引用远程服务：
通过Spring配置引用远程服务：
5）运行项目，先确保provider已被运行后再启动consumer模块：
运行提供者：
消费者成功调用提供者所提供的远程服务：
当然，这只是一个模拟的项目，实际中有多提供者多消费者情况，比这要复杂的多，当然只有这样才能体现dubbo的特性。
Dubbo管理控制台介绍
下载dubbo-admin，可自行根据网上介绍安装。大致做法就是将dubbo-admin中 的某个文件夹内容替换到tomcat的conf中，再运行tomcat即可。但我在实际 *** 作中发现JDK8无法运行，后来找到一个JDK8可以实现的dubbo-admin版本，下载地址：/226631678709806/resource/901920001882583/1html。
成功开启输入用户名密码root后，即可进入控制台首页查看消费者提供者情况：
查看提供者：
查看消费者：需要打开服务器端口设置。
需要打开服务器端口设置，把系统文件导入到系统本地，然后指定路径，点击进行关闭。
RPC服务器不可用：
1、使用netshinterfaceipadd添加IP的时候出现下面的提示，RPC服务器不可用。
2、打开运行框；输入servicesmsc命令。
3、来到服务器管理器，确认一下RPC服务是否开启状态，remoteprocedurecall(rpc)。
4、然后确认一下DCOM服务器是否开启状态，DCOMServerProcessLauncher。
5、然后再确认一下DHCPClient是否开启状态，发现是禁用的。
6、设置为开机自动启动。
7、然后启动DHCPClient服务。
8、确认DHCPClient服务是启动状态。再次来到cmd下，运行netshinterfaceipadd。这次没有提示错误就表示设置IP成功了。症状
在执行下列任一基于服务器的任务时，可能收到“RPC server is unavailable（RPC服务器不可用）”错误信息： • 复制
• Winlogon
• 启用受信任的关系
• 连接到域控制器
• 连接到受信任的域
• 用户身份验证
注意：在成员服务器上运行 Dcpromo 时也可能出现“RPC server is unavailable”错误。如果只有一台 DC，并且该 DC 的网卡上没有启用文件和打印机共享，则会发生此问题。
原因
下列任一原因均可导致发生此问题： • 可能未启动 RPC 服务。
• 无法解析 DNS 或 NetBIOS 名称。
• 无法建立 RPC 通道。
解决方案
要解决此问题，请按照下列步骤 *** 作： 1 单击开始，单击运行，在打开框中键入以下命令行，然后单击确定：
net start rpcss
进行测试，查看这是否解决了问题。如果仍然出现此问题，则继续执行下一步。
2 单击开始，指向程序，指向附件，然后单击命令提示符。
3 在命令提示符处，键入 ping servername，其中 servername 是要测试其连接的服务器、NetBIOS、DNS 或 GUID 名称。
如果其中的一台计算机存在连接问题，请与网络管理员联系以解决问题。如果仍然出现此问题，则继续执行下一步。
4 使用 Microsoft Windows 支持工具（包含在 Windows CD-ROM 上）中包含的 Netdiag 工具确定域控制器是否正常工作。可以使用 MSRPC、DNS、NBT、LDAP 或 TCP 协议执行网络跟踪。
如果域控制器存在问题，请与网络管理员联系以解决问题。如果仍然出现此问题，则继续执行下一步。
5 使用 Windows 支持工具中包含的 Netdom 工具验证网络信任关系，然后重置或建立到服务器的连接。远程过程调用 (RPC) 是一种协议，程序可使用这种协议向网络中的另一台计算机上的程序请求服务。由于使用 RPC 的程序不必了解支持通信的网络协议的情况，因此 RPC 提高了程序的互 *** 作性。在 RPC 中，发出请求的程序是客户程序，而提供服务的程序是服务器。 \x0d\RPC 中处理 TCP/IP 上的消息交换的部分存在一个缺陷。错误地处理格式不正确的消息会导致出现错误。这种特定的错误会影响底层的 DCOM 接口，此接口侦听 TCP/IP 端口 135。通过发送格式不正确的 RPC 消息，攻击者可以使一台计算机上的 RPC 服务出现问题，进而使任意代码得以执行。 \x0d\远程过程调用 (RPC) 是 Windows *** 作系统使用的一个协议。RPC 提供了一种进程间通信机制，通过这一机制，在一台计算机上运行的程序可以顺畅地执行某个远程系统上的代码。该协议本身是从 OSF（开放式软件基础）RPC 协议衍生出来的，只是增加了一些 Microsoft 特定的扩展。 \x0d\\x0d\RPC 中处理通过 TCP/IP 的消息交换的部分有一个漏洞。此问题是由错误地处理格式不正确的消息造成的。这种特定的漏洞影响分布式组件对象模型 (DCOM) 与 RPC 间的一个接口，此接口侦听 TCP/IP 端口 135。此接口处理客户端计算机向服务器发送的 DCOM 对象激活请求（例如通用命名约定 (UNC) 路径）。 \x0d\\x0d\为利用此漏洞，攻击者可能需要向远程计算机上的 135 端口发送特殊格式的请求。 \x0d\\x0d\减轻影响的因素： \x0d\\x0d\为利用此漏洞，攻击者可能需要拥有向远程计算机上的 135 端口发送精心编造的请求的能力。对于 Intranet 环境，此端口通常是可以访问的；但对于通过 Internet 相连的计算机，防火墙通常会封堵 135 端口。如果没有封堵该端口，或者在 Intranet 环境中，攻击者就不需要有任何其他特权。 \x0d\\x0d\最佳做法是封堵所有实际上未使用的 TCP/IP 端口。因此，大多数连接到 Internet 的计算机应当封堵 135 端口。RPC over TCP 不适合在 Internet 这样存在着危险的环境中使用。像 RPC over >下列任一原因均可导致发生此问题：可能未启动 RPC 服务；无法解析 DNS 或 NetBIOS 名称；无法建立 RPC 通道。
解决方案
要解决此问题，请按照下列步骤 *** 作：
1 单击开始，单击运行，在打开框中键入以下命令行，然后单击确定：
net start rpcss
进行测试，查看这是否解决了问题。如果仍然出现此问题，则继续执行下一步。
2 单击开始，指向程序，指向附件，然后单击命令提示符。
3 在命令提示符处，键入 ping servername，其中 servername 是要测试其连接的服务器、NetBIOS、DNS 或 GUID 名称。
如果其中的一台计算机存在连接问题，请与网络管理员联系以解决问题。如果仍然出现此问题，则继续执行下一步。
4 使用 Microsoft Windows 支持工具（包含在 Windows CD-ROM 上）中包含的 Netdiag 工具确定域控制器是否正常工作。可以使用 MSRPC、DNS、NBT、LDAP 或 TCP 协议执行网络跟踪。
如果域控制器存在问题，请与网络管理员联系以解决问题。如果仍然出现此问题，则继续执行下一步。
5 使用 Windows 支持工具中包含的 Netdom 工具验证网络信任关系，然后重置或建立到服务器的连接。
转载表面上看，是一套基于B/S方式实现的分布式管理系统，但其实背后的架构是基于C/S完成的。你以为他是一只鞋吗？其实他是一个吹风机。作为界面化的系统，浏览器框架是不可或缺的，但更加重要的东西在Socket上面。
一、需要解决中央控制端到各节点服务器之间的通信。
这个其实牵扯到一个通信协议的问题，各语言都有自己的socket，thread的库，直接调用即可。但是这个通信协议就需要自己来完成了。既不能太简单，太简单了，明码传输，如果别人获知了这个接口，就很容易执行一些令人讨厌的 *** 作。也不能太复杂，太复杂了等于是给自己找麻烦，所以简单的数据包编解码的工作或者用token验证的方式是需要的。通信协议起码要两种，一种是传输命令执行的协议，一种是传输文件的协议。
二、跨语言的socket通信
为什么要跨语言，主控端和代理端通信，用什么语言开发其实无所谓。但是为了给自己省事，尽可能使用服务器上已经有了的默认语言，Ambari前期采用phppuppet的方式管理集群，这不是不可以，puppet自己解决了socket通信协议和文件传输的问题，可你需要为了puppet在每台服务器上都安装ruby。我是个有点服务器和代码洁癖的人。光是为了一个puppet就装个ruby，我觉得心里特对不起服务器的资源。所以我自己写了一个python的代理端。python是不管哪个linux系统在安装的时候就都会有了。然后主控端的通信，可以用python实现，也可以用php实现，但是考虑到对于更多的使用者来说，改php可能要比改tornado简单许多，所以就没用python开发。hadoop分支版本众多，发布出去，用户要自己修改成安装适合自己的hadoop发行版，就势必要改源码，会php的明显比会python的多。php里面的model封装了所有的 *** 作，而python只是个 *** 作代理人的角色而已。
所以也延伸出一个问题，什么语言用来做这种分布式管理系统的代理端比较合适，我自己觉得，也就是python比较合适了， *** 作系统自带，原生的package功能基本够用。用java和php也可以写agent，但是你势必在各节点预先就铺设好jre或者php运行环境。这就跟为什么用python和java写mapred的人最多是一样的。没人拦着你用nodejs写mapred，也可以写，就是你得在每个节点都装v8的解释引擎，不嫌麻烦完全可以这样干。原理参看map/rece论文，不解释。perl也是 *** 作系统原生带的，但是perl的可维护性太差了，还是算了吧。
所以这就牵扯到一个跨语言的socket问题，理论上来说，这不存在什么问题。但这是理论上的，实际开发过程中确实存在问题，比如socket长连接，通信数据包在底层的封装方式不同。我没有使用xml-rpc的原因之一就是我听说php的xmlrpc跟其他语言的xmlrpc有不同的地方，需要修改才能用,我就没有用这种办法。最早是自己定义的 *** 作协议，这时就遇到了这些问题，所以后来直接采用了thrift方式。就基本不存在跨语言的socket通信问题了。
三、代理端执行结果的获取
无论命令还是文件是否在代理端执行成功，都需要获取到执行结果返回给中央端。所以这里也涉及一个读取节点上的stdout和stderr的问题。这个总体来说不是很难，都有现成的包。当然这个时候你需要的是阻塞执行，而不能搞异步回调。
还有个问题是，我要尽可能使用python默认就带的包，而尽量不让服务器去访问internet下载第三方的包。
还有代理端最重要的一点，就是python的版本兼容性。centos5用python24，centos6用python26，ubuntu基本默认都是27。所以一定要最大限度的保证语言的跨版本兼容性，要是每个 *** 作系统和每一个版本我都写一个代理，我一个人就累死了。
四、浏览器端的model，view，controller
这里面你要封装好所有的通信协议，以及需要在节点上面执行的脚本。发送文件的 *** 作和数据库 *** 作也要在model里面完成。
如果对tcl/tk很熟，也可以写基于 *** 作系统界面方式的管理，不用浏览器就是了。
view对我来说是最痛苦的事，都是现学的jQuery怎么用，前端的工作太可怕了。关于这方面，没有太多可描述的，html和js带给我的只有痛苦的回忆，万恶的undefined。
五、跨 *** 作系统的安装文件封装。
要适应不同的 *** 作系统也是个很麻烦的事情，需要用agent提前获知 *** 作系统的发行分支，版本号。然后去找到对应的安装文件去执行。你不能保证一个分布式系统的集群中所有的节点都可以访问internet，更多的情况是这些节点都存在在一个安全的内网中。只有个别几个节点是可以访问外网的。所以，我势必要把所有的安装文件以及他们的依赖尽可能集中起来。我不确定安装 *** 作系统的lzo，yum或者apt-get会去下什么鬼东西，甚至无论是yum还是apt-get，里面都没有hadoop-lzo的库文件。所以，最好的办法是自己编译打包rpm和deb包。直接安装就好了，别去找repo下载什么。
这就是第五步工作，把需要的依赖的东西自己编译打包成rpm和deb。
deb包很好解决，但是rpm就没那么好办了，需要学习rpm的编译文件如何编写，这块是挺麻烦的，但是这玩意用好了还是挺不错的。现在我自制的安装包里面就已经包含了自己编译的lzo和snappy两种压缩库，以及hadoop-gpl-packaging的rpm和deb。下一个发布的easyhadoop将直接支持centos5,6，suse，以及ubuntu/debian的系统上安装hadoop。已经自带了lzo和snappy以及lzop和snzip。
六、把这些所有东西，整合到一个系统里面。
关联这些所有事情间的联系，整合到一个浏览器界面里面去。写一个分布式的管理脚本不难，写一个界面也不难，但是也许是我的水平不行，这两件事结合起来让他们协同工作还是有点难度的。对我来说，写界面的工作可能更难一点。
Cloudera可能是十来个人在写Manager的东西，ambari也是放到github和apachesvn上面，apache基金会的各种committer在写。easyhadoop没他们功能那么强大，一年来只有我一个人设计架构，功能，各种语言的编码，测试，发布。Fortheloveofgod,WhathaveIdone(英文部分请站在山顶仰天长啸)T_T。从前台到后台，到hadoop和生态系统以及他们的依赖软件的单独patch、编译打包。(系统yum或者apt-get的包不如自己打的好使。)
从时间上来看，全球第一款开源的hadoop部署管理系统应该还是属于ambari，2011年8月开始写的，2012年9月底进入apache的incubator。我是大概2012年8月开始写的easyhadoop，全球第一没赶上，估计国内第一个开源的hadoop管理系统还是可以排上的。
发送短信rpc调用失败rpc服务没有启动或者DCOM没有配置SOCKTSRVREXE没有运行和受到病毒的影响，比如冲击波病毒就是造成RPC服务不可用。RPC服务器，是指RemoteProcedureCallProtocol，中文释义为(RFC-1831)远程过程调用协议：一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。该机制支持客户端与网络和本地计算机上的服务器之间的通信。欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）