如何自己开发一套服务器管理系统

转载表面上看，是一套基于B/S方式实现的分布式管理系统，但其实背后的架构是基于C/S完成的。你以为他是一只鞋吗？其实他是一个吹风机。作为界面化的系统，浏览器框架是不可或缺的，但更加重要的东西在Socket上面。

一、需要解决中央控制端到各节点服务器之间的通信。

这个其实牵扯到一个通信协议的问题，各语言都有自己的socket，thread的库，直接调用即可。但是这个通信协议就需要自己来完成了。既不能太简单，太简单了，明码传输，如果别人获知了这个接口，就很容易执行一些令人讨厌的 *** 作。也不能太复杂，太复杂了等于是给自己找麻烦，所以简单的数据包编解码的工作或者用token验证的方式是需要的。通信协议起码要两种，一种是传输命令执行的协议，一种是传输文件的协议。

二、跨语言的socket通信

为什么要跨语言，主控端和代理端通信，用什么语言开发其实无所谓。但是为了给自己省事，尽可能使用服务器上已经有了的默认语言，Ambari前期采用phppuppet的方式管理集群，这不是不可以，puppet自己解决了socket通信协议和文件传输的问题，可你需要为了puppet在每台服务器上都安装ruby。我是个有点服务器和代码洁癖的人。光是为了一个puppet就装个ruby，我觉得心里特对不起服务器的资源。所以我自己写了一个python的代理端。python是不管哪个linux系统在安装的时候就都会有了。然后主控端的通信，可以用python实现，也可以用php实现，但是考虑到对于更多的使用者来说，改php可能要比改tornado简单许多，所以就没用python开发。hadoop分支版本众多，发布出去，用户要自己修改成安装适合自己的hadoop发行版，就势必要改源码，会php的明显比会python的多。php里面的model封装了所有的 *** 作，而python只是个 *** 作代理人的角色而已。

所以也延伸出一个问题，什么语言用来做这种分布式管理系统的代理端比较合适，我自己觉得，也就是python比较合适了， *** 作系统自带，原生的package功能基本够用。用java和php也可以写agent，但是你势必在各节点预先就铺设好jre或者php运行环境。这就跟为什么用python和java写mapred的人最多是一样的。没人拦着你用nodejs写mapred，也可以写，就是你得在每个节点都装v8的解释引擎，不嫌麻烦完全可以这样干。原理参看map/rece论文，不解释。perl也是 *** 作系统原生带的，但是perl的可维护性太差了，还是算了吧。

所以这就牵扯到一个跨语言的socket问题，理论上来说，这不存在什么问题。但这是理论上的，实际开发过程中确实存在问题，比如socket长连接，通信数据包在底层的封装方式不同。我没有使用xml-rpc的原因之一就是我听说php的xmlrpc跟其他语言的xmlrpc有不同的地方，需要修改才能用,我就没有用这种办法。最早是自己定义的 *** 作协议，这时就遇到了这些问题，所以后来直接采用了thrift方式。就基本不存在跨语言的socket通信问题了。

三、代理端执行结果的获取

无论命令还是文件是否在代理端执行成功，都需要获取到执行结果返回给中央端。所以这里也涉及一个读取节点上的stdout和stderr的问题。这个总体来说不是很难，都有现成的包。当然这个时候你需要的是阻塞执行，而不能搞异步回调。

还有个问题是，我要尽可能使用python默认就带的包，而尽量不让服务器去访问internet下载第三方的包。

还有代理端最重要的一点，就是python的版本兼容性。centos5用python24，centos6用python26，ubuntu基本默认都是27。所以一定要最大限度的保证语言的跨版本兼容性，要是每个 *** 作系统和每一个版本我都写一个代理，我一个人就累死了。

四、浏览器端的model，view，controller

这里面你要封装好所有的通信协议，以及需要在节点上面执行的脚本。发送文件的 *** 作和数据库 *** 作也要在model里面完成。

如果对tcl/tk很熟，也可以写基于 *** 作系统界面方式的管理，不用浏览器就是了。

view对我来说是最痛苦的事，都是现学的jQuery怎么用，前端的工作太可怕了。关于这方面，没有太多可描述的，html和js带给我的只有痛苦的回忆，万恶的undefined。

五、跨 *** 作系统的安装文件封装。

要适应不同的 *** 作系统也是个很麻烦的事情，需要用agent提前获知 *** 作系统的发行分支，版本号。然后去找到对应的安装文件去执行。你不能保证一个分布式系统的集群中所有的节点都可以访问internet，更多的情况是这些节点都存在在一个安全的内网中。只有个别几个节点是可以访问外网的。所以，我势必要把所有的安装文件以及他们的依赖尽可能集中起来。我不确定安装 *** 作系统的lzo，yum或者apt-get会去下什么鬼东西，甚至无论是yum还是apt-get，里面都没有hadoop-lzo的库文件。所以，最好的办法是自己编译打包rpm和deb包。直接安装就好了，别去找repo下载什么。

这就是第五步工作，把需要的依赖的东西自己编译打包成rpm和deb。

deb包很好解决，但是rpm就没那么好办了，需要学习rpm的编译文件如何编写，这块是挺麻烦的，但是这玩意用好了还是挺不错的。现在我自制的安装包里面就已经包含了自己编译的lzo和snappy两种压缩库，以及hadoop-gpl-packaging的rpm和deb。下一个发布的easyhadoop将直接支持centos5,6，suse，以及ubuntu/debian的系统上安装hadoop。已经自带了lzo和snappy以及lzop和snzip。

六、把这些所有东西，整合到一个系统里面。

关联这些所有事情间的联系，整合到一个浏览器界面里面去。写一个分布式的管理脚本不难，写一个界面也不难，但是也许是我的水平不行，这两件事结合起来让他们协同工作还是有点难度的。对我来说，写界面的工作可能更难一点。

Cloudera可能是十来个人在写Manager的东西，ambari也是放到github和apachesvn上面，apache基金会的各种committer在写。easyhadoop没他们功能那么强大，一年来只有我一个人设计架构，功能，各种语言的编码，测试，发布。Fortheloveofgod,WhathaveIdone(英文部分请站在山顶仰天长啸)T_T。从前台到后台，到hadoop和生态系统以及他们的依赖软件的单独patch、编译打包。(系统yum或者apt-get的包不如自己打的好使。)

从时间上来看，全球第一款开源的hadoop部署管理系统应该还是属于ambari，2011年8月开始写的，2012年9月底进入apache的incubator。我是大概2012年8月开始写的easyhadoop，全球第一没赶上，估计国内第一个开源的hadoop管理系统还是可以排上的。

通常情况下，超微服务器的电源并不会直接配置显卡接口，因为服务器通常被设计为处理大量数据和计算任务，而不是用于图形和视频处理等应用。因此，大多数超微服务器使用远程管理界面进行管理和监视，而不需要使用独立显卡。
然而，如果您需要使用显卡来扩展服务器的图形能力，某些型号的超微服务器可能会有PCI-E插槽，并且可以通过安装独立显卡进行扩展。但是这需要格外注意，请确保确定服务器主板支持PCI-E显卡插槽，并检查电源是否足够强大以支持独立显卡的额外功耗。此外，需要注意到显卡插槽与服务器主板的兼容性问题，以及 *** 作系统驱动的兼容性问题。

API（ApplicationProgrammingInterface,应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。

API函数包含在Windows系统目录下的动态连接库文件中。WindowsAPI是一套用来控制Windows的各个部件的外观和行为的预先定义的Windows函数。用户的每个动作都会引发一个或几个函数的运行以告诉Windows发生了什么。这在某种程度上很像Windows的天然代码。而其他的语言只是提供一种能自动而且更容易的访问API的方法。当你点击窗体上的一个按钮时，Windows会发送一个消息给窗体，VB获取这个调用并经过分析后生成一个特定事件。

更易理解来说：Windows系统除了协调应用程序的执行、内存的分配、系统资源的管理外，同时他也是一个很大的服务中心。调用这个服务中心的各种服务(每一种服务就是一个函数)可以帮助应用程序达到开启视窗、描绘图形和使用周边设备等目的，由于这些函数服务的对象是应用程序，所以称之为ApplicationProgrammingInterface，简称API函数。WIN32API也就是32位平台的应用程序编程接口。

凡是在Windows工作环境底下执行的应用程序，都可以调用WindowsAPI。

linuxAPI

在linux中，用户编程接口API遵循了UNIX中最流行的应用编程界面标准---POSIX标准。POSIX标准是由IEEE和ISO/IEC共同开发的标准系统。该标准基于当时现有的UNIX实践和经验，描述了 *** 作系统的系统调用编程接口API，用于保证应用程序可以在源程序一级上在多种 *** 作系统上移植运行。这些系统调用编程接口主要是通过C库（LIBC）来实现的。

2开放平台

基于互联网的应用正变得越来越普及，在这个过程中，有更多的站点将自身的资源开放给开发者来调用。对外提供的API调用使得站点之间的内容关联性更强，同时这些开放的平台也为用户、开发者和中小网站带来了更大的价值。

开放是目前的发展趋势，越来越多的产品走向开放。目前的网站不能靠限制用户离开来留住用户，开放的架构反而更增加了用户的粘性。在Web20的浪潮到来之前，开放的API甚至源代码主要体现在桌面应用上，而现在越来越多的Web应用面向开发者开放了API。

具备分享、标准、去中心化、开放、模块化的Web20站点，在为使用者带来价值的同时，更希望通过开放的API来让站点提供的服务拥有更大的用户群和服务访问数量。

站点在推出基于开放API标准的产品和服务后，无需花费力气做大量的市场推广，只要提供的服务或应用出色易用，其他站点就会主动将开放API提供的服务整合到自己的应用之中。同时，这种整合API带来的服务应用，也会激发更多富有创意的应用产生。

为了对外提供统一的API接口，需要对开发者开放资源调用API的站点提供开放统一的API接口环境，来帮助使用者访问站点的功能和资源。

当然，开放API的站点为第三方的开发者提供良好的社区支持也是很有意义的，这有助于吸引更多的技术人员参与到开放的开发平台中，并开发出更为有趣的第三方应用。

视频云技术提供商CC视频开放API接口，用户可以在自己的网站后台轻松完成视频的上传、视频播放控制 *** 作，并可批量获取视频及平台信息。

正如在"什么是API"中所说,API函数包含在位于系统目录下的DLL文件中。你可以自己输入API函数的声明，但VB提供了一种更简单的方法,即使用APITextViewer。要想在你的工程中声明API函数，只需运行APITextViewer,打开Win32apitxt或MDB。如果你已经把它转换成了数据库的话，这样可以加快速度。使用预定义的常量和类型也是同样的方法。API除了有应用“应用程序接口”的意思外，还特指API的说明文档，也称为帮助文档。

假设你想在你的窗体模块中声明一个函数，粘贴然后运行，VB会告诉你：编译错误Declare语句不允许作为类或对象模块中的Public(公共的)成员。看起来很糟糕，其实你需要做的只是在声明前面添加一个Private(私有的)。不要忘了，可是这将使该函数只在该窗体模块可用。在有些情况下，你会得到"不明确的名称"这样的提示，这是因为函数、常量或其他的什么东西共用了一个名称。由于绝大多数的函数都进行了别名化，亦即意味着你可以通过Alias子句使用其它的而不是他们原有的名称，你只需简单地改变一下函数名称而它仍然可以正常运行。

远程过程调用（RPC）：通过作用在共享数据缓存器上的过程（或任务）实现程序间的通信。

标准查询语言（SQL）：是标准的访问数据的查询语言，通过通用数据库实现应用程序间的数据共享。

文件传输：文件传输通过发送格式化文件实现应用程序间数据共享。

信息交付：指松耦合或紧耦合应用程序间的小型格式化信息，通过程序间的直接通信实现数据共享。

当前应用于API的标准包括ANSI标准SQLAPI。另外还有一些应用于其它类型的标准尚在制定之中。API可以应用于所有计算机平台和 *** 作系统。这些API以不同的格式连接数据。每种数据格式要求以不同的数据命令和参数实现正确的数据通信，但同时也会产生不同类型的错误。因此，除了具备执行数据共享任务所需的知识以外，这些类型的API还必须解决很多网络参数问题和可能的差错条件，即每个应用程序都必须清楚自身是否有强大的性能支持程序间通信。相反由于这种API只处理一种信息格式，所以该情形下的信息交付API只提供较小的命令、网络参数以及差错条件子集。正因为如此，交付API方式大大降低了系统复杂性，所以当应用程序需要通过多个平台实现数据共享时，采用信息交付API类型是比较理想的选择。

API接口属于一种 *** 作系统或程序接口，GUI接口属于一种图形 *** 作系统。两者都属于直接用户接口。有时公司会将API作为其公共开放系统。也就是说，公司制定自己的系统接口标准，当需要执行系统整合、自定义和程序应用等 *** 作时，公司所有成员都可以通过该接口标准调用源代码，该接口标准被称之为开放式API。

---