使用seaweedfs搭建一个图片服务器 (上)

使用seaweedfs搭建一个图片服务器 (上),第1张

>Serv-U 是目前众多的FTP 服务器软件之一。通过使用Serv-U,用户能够将任何一台PC 设置成一个FTP 服务器,这样,用户或其他使用者就能够使用FTP 协议,通过在同一网络上的任何一台PC与FTP 服务器连接,进行文件或目录的复制,移动,创建,和删除等。这里提到的FTP 协议是专门被用来规定计算机之间进行文件传输的标准和规则,正是因为有了象FTP 这样的专门协议,才使得人们能够通过不同类型的计算机,使用不同类型的 *** 作系统,对不同类型的文件进行相互传递。
虽然目前FTP 服务器端的软件种类繁多,相互之间各有优势,但是Serv-U 凭借其独特的功能得以展露头脚。具体来说,Serv-U 能够提供以下功能:
符合windows 标准的用户界面友好亲切,易于掌握。
支持实时的多用户连接,支持匿名用户的访问;通过限制同一时间最大的用户访问人数确保PC 的正常运转。
安全性能出众。在目录和文件层次都可以设置安全防范措施。能够为不同用户提供不同设置,支持分组管理数量众多的用户。可以基于IP 对用户授予或拒绝访问权限。
支持文件上传和下载过程中的断点续传。
支持拥有多个IP 地址的多宿主站点。
能够设置上传和下载的比率,硬盘空间配额,网络使用带宽等,从而能够保证用户有限的资源不被大量的FTP 访问用户所消耗。
可作为系统服务后台运行。
可自用设置在用户登录或退出时的显示信息,支持具有UNIX 风格的外部链接。
上面列出的只是Serv-U 众多功能中的一部分,具体的使用将在下文中进行详细的介绍,这里要说明的 时,Serv-U 在保持功能全面,强大的基础上,提供的完全易于使用的 *** 作界面,可以说一切尽在掌握。
使用说明
用户在使用Serv-U 的过程中可能会碰到的所有设置问题都可以通过Serv-U 窗口中的菜单选项实现。如果用户在安装Serv-U 之后,启动Serv-U 时,屏幕上没有显示出Serv-U 的控制窗口的话,可以用鼠标右键点击位于任务条系统托盘中的Serv-U 图标(一个大写的字母“U”),然后选择d出菜单中的第一项“Show Window”,这样屏幕上就会显示出Serv-U 的控制窗口。
设置FTP服务器
位于Serv-U 控制窗口中的“SETUP”菜单中的第一项“FTP-SERVER”用来对FTP 服务器进行总体上的设置。在选择之后出现的窗口中的第一项“FTP PORT NUMBER”用来设置FTP服务器使用的端口号,FTP服务器将会通过该端口收听所有来访用户的信息。一般情况下,FTP 服务器的默认端口号为21,但是用户可以根据自己的情况自由的进行更改,只要能够保证所采用的端口号与其它网络应用不冲突即可。这里需要说明的一点是,使用用户自己选择的服务器端口可以起到很好的安全防范作用,这时,只有用户自己和其他知道该端口号的用户才能够成功的实现与服务器的连接。因此,建议用户在设置F TP 服务器的时候使用自己选定的端口,而不要只是简单的使用默认值。
随后用户需要设置服务器所能提供的最大速度。一般情况下,用户可以将这项空出,那么服务器将会利用所有可能的带宽为客户提供服务。能够为用户提供最大的访问速度当然很好,但是过多的F TP 用户可能会蚕食掉一切可能的带宽,从而使其它的网络应用几乎不可能实现。因此,合理的控制FTP 服务器所能够占用的最大带宽还是很重要的。
下一项是设置服务器允许的最大用户访问量。在此,用户可以限制同一时间内访问FTP 服务器的最大人数。如果把该项设为0,那么FTP 服务器将会拒绝任何用户访问要求;如果将该项空出,那么Serv-U 将不会对访问人数进行控制,直到耗尽所有的系统资源。如果用户希望自己的FTP 服务器能够保持正常运转的话,那么最好对来访的用户数量进行合理的限制。一般情况下,即使老式的486 机器,在使用Serv-U之后,也能够在同一时间内为20多名用户提供访问支持。
在此之后的一系列复选项中的第一项为“启动安全功能”。如果用户没有选择该项,那么任何人通过网络都可以直接进入FTP 服务器,对服务器中的任何文件进行随意地复制,改动,甚至删除。除了那些拥有小范围内的个人网络,不希望每次登录都重复输入用户名、密码等烦杂手续的人之外,用户一定要确保已经选中了该选项,即启动了服务器的安全防范功能。
下一项“ENCRYPT PASSWORDS”在默认情况下也被自动选中。这样,Serv-U 将会使用与UNIX *** 作系统相同的加密机制加密并保存用户的密码。如果用户不选择对密码进行加密,那么所有用户输入的口令将会以明文的方式保存在位于S erv-U 安装目录下的Serv-Uini 文件中。
随后一项用来设定是否需要匿名访问用户输入密码。默认情况下,该项为空白,这样那些使用匿名帐号访问FTP 服务器的用户将不被要求输入口令。需要注意的是这里对匿名用户密码的检测非常简单,只要匿名用户输入符合邮件地址格式的任意字符串即可,S erv-U 不会进一步的判断用户输入的邮件地址是否真正存在。
下一项为预防反超时措施。如果用户选择了该选项,Serv-U 将会采用新的记时方式,那些希望通过定期向服务器发送命令来防止出现超时 *** 作的用户将不再得逞。
随后的选项被用来设定是否删除没有完整上传的文件,如果用户不使用该删除功能,那么当有用户在向FTP 服务器上传文件的过程中出现错误而没有实现文件的完整上传时,Serv-U 将会在硬盘上保留已上传的内容,从而实现上传文件的断点续传。
下面我们要讨论的是跨FTP 攻击。通常状况下,当使用FTP 协议进行文件的传输时,客户端首先向FTP 服务器发出一个“PORT”命令,该命令中包含该用户的IP地址和将被用来进行数据传输的端口号。服务器在收到该命令后,利用命令所提供的用户地址信息建立与用户的连接。大多数情况下,上述过程不会出现任何问题,但是,当客户端是一名恶意用户时,可能会通过在P ORT 命令中加入特定的地址信息,使FTP 服务器与其它非客户端的机器建立连接。虽然这名恶意用户可能本身无权直接访问某一特定机器,但是如果FTP 服务器有权访问该机器的话,那么恶意用户通过FTP 服务器作为中介,仍然能够最终实现与目标服务器的连接。这就是我们所提到的跨服务器攻击。为了防止上述情况的发生,用户可以选择“防止跨F TP 服务器攻击”的选项,这样Serv-U在与任何来访用户建立连接之前,首先要核实该用户提供的地址信息是否为其真实地址。任何事情都是两方面的。我们已经知道通过使用S erv-U 可以防止发生跨FTP服务器的攻击,但是,同时我们也放弃了在FTP服务器和FTP 服务器之间实现数据传输的功能。这是因为Serv-U 只会与那些所提供的地址与地址提供者的实际地址相符的用户建立连接,用户将不能远程控制在两台不同的FTP 服务器之间进行文件传输。
最后的两个选项用来限制用户在FTP 服务器上的最大停留时间,以及规定服务器中文件和目录名的大小写。
该窗口中的其它相关选项我们将会在稍后进行详细介绍。
用户帐号管理
用户使用FTP 服务器的一个最基本的任务就是添加和管理用户信息。通过选择“SETUP”菜单中的“USERS”打开Serv-U 的用户管理窗口。该窗口可以分为左右两大部分。其中左边的窗口用来显示目前所有已经注册的FTP服务器的用户。任意选中其中一个用户,其详细的配置信息将会相应的显示在窗口的右边。如果是首次启动S erv-U,那么仅会显示一个名为“DEFAULT”的系统默认帐号。
下面详细介绍一下建立新用户帐号的全过程.
首先单击窗口最右边的“NEW”按钮,在随后的d出窗口中输入需要建立的用户名。这时,输入的用户名就会出现在窗口右边的用户名一栏中。用户还可以在该栏中对所建立的帐号名称进行修改。
随后用户可以输入该帐号将要归属的用户组的组名或建立一个新的组。所谓组是人们为了便于管理数量庞大的用户群而推出的概念。我们可以把众多的单个用户划分到不同的组里进行统一的管理。因为属于同一个组的用户都具有一些共同的属性,例如用户密码,根目录等,所以用户只需要对个别具有特殊属性的帐号进行个别设置即可,这样就极大的简化了对用户帐号的管理和维护工作。需要注意的一点是,“A nonymous”这个特殊的用户帐号不属于任何一个用户组。
在随后的密码栏中需要输入帐号的口令,如果用户在服务器的设置中选择了加密密码的选项(见前文),那么所输入的密码将自动以加密方式储存。关于密码很重要的一点是只有输入的前8 位字符有效,希望能够引起广大Serv-U 使用者的注意。另外,如果用户在建立新的帐号时没有输入相应的密码,那么并不意味着该用户帐号没有密码,Serv-U 将会尝试着寻找是否该用户帐号属于某一个用户组并且该用户组具有统一的密码。如果Serv-U 没有找到相应的用户组密码的话,将会拒绝该用户帐号的访问。如果用户确实希望不规定某个帐号的密码,只要在相应帐号的密码一栏中输入“$ #@60;$#@60;None$#@62;$#@62;”即可。上述情况的一个例外是Anonymous 用户帐号,该帐号没有密码,Serv-U 只要求用户输入符合邮件地址格式的任意字符串即可。
在“HOME”一栏中,设置FTP 用户的根目录,即用户在成功登录之后所自动位于的起始目录。每一个用户帐号都要有自己的根目录,否则Serv-U 将拒绝该用户帐号的访问。当然,如果该帐号属于某个组,而该用户组已经设定了共同的根目录,那么用户就不必对该用户组内的每个帐号进行重复设置。用户在输入根目录的地址时应当注意必须使用完全路径,包括盘符。
在“NOTE”一栏中,用户可以选择输入一些对帐号起辅助说明的文字以备将来参考之用。
在用户窗口右边最大的一栏用来设定帐号的访问权限,从而决定用户可以访问哪些文件,并以何种方式访问这些。Serv-U 按照文件和目录两大类别对用户的访问权限进行了划分。具体来说包括:
对文件的访问权限:
READ:允许用户下载文件;
WRITE:允许用户上传文件,但无权对文件进行更改,删除,或重命名;
APPEND:允许用户对已有的文件进行附加,拥有APPEND权限的用户自动拥有WRITE
权限;
DELETE:允许用户对文件进行改动,重命名,或删除。拥有DELETE权限的用户自动拥
有WRITE 和APPEND 权限;
EXECUTE:允许用户通过FTP 运行可执行文件。例如,用户可以远程运行DOS或Windows
程序。
对目录的访问权限:
LIST:允许用户取得目录列表;
MAKE:允许用户在根目录下建立新的子目录;
REMOVE:允许用户删除根目录下的子目录。
INHERIT:选中该选项之后,对某一目录设置的访问权限将自动被该目录下的所有子目录
继承。
在完成上述所有设置之后,点击“STORE”按钮,新建立的用户帐号将被保存在FTP 服务器中。
该窗口中的其它选项将会在稍后进行详细的介绍。
实时监控
用户在完成FTP服务器的基本配置之后,就可以向外界提供FTP文件传输服务了。我想很多用户都希望在提供FTP 服务的过程中,能够实时地对访问自己服务器的用户进行监控,从而一方面既能够对整个服务过程做到心中有数,另一方面还可以在可能出现意外问题之前,采取及时的防范和补救措施。在这一方面,相信S erv-U 能够充分满足大家的需求。
首先,让我们看一下如何利用Serv-U 实现实时的用户监控。
选择“FILE”菜单中的“USER INFO”选项。在d出窗口中的上半部分将会显示出所有当前正在与服务器连接的用户。用鼠标点击其中的任一用户将会在窗口的下半部分出现该用户的详细信息。
在窗口的右下方有一个“SPY ON USER”按钮,点击之后出现的窗口将会显示出特定用户向FTP服务器发出以及FTP 服务器响应的所有命令。该窗口将会跟踪所选用户的所有命令,对了解特定用户在访问FTP 服务器的过程中的所有行为提供了可的依据。
在该按钮下方还有一个名为“KILL USER”的按钮,如果用户发现某个来访用户的行为可疑,可能会对FTP 服务器的正常工作带来危害的话,可以通过使用该按钮立即中断与该用户的连接,将该用户踢出FTP 服务器。
需要注意的一点是,虽然Serv-U 能够提供实时的用户监控信息,但是需要耗用很大一部分的系统资源。如果用户发现系统性能出现明显下降的话,可以通过窗口右侧的“F REEZE LIST”按钮暂时冻结窗口信息的动态显示,从而释放出宝贵的系统资源。
设置服务器端日志记录
除了能够实时的进行监控之外,Serv-U还提供了强大的日志记录功能,从而方便用户记录和总结一段时期内Serv-U的运行情况。
选择“FILE”菜单下的“LOGGING”,d出日志设置窗口,用户可以选择对哪些事件进行记录,以及将记录信息保存到何处。
在该窗口的右侧,用户可以选择对不同的事件进行记录,其中包括系统信息,安全信息等,同时用户还可以设置是将所记录 畔⑾允驹赟erv-U 的主窗口内,还是保存到某一指定文件内。出于耗用系统资源和备份信息的需要,建议用户把日志信息保存到指定的文件内。
需要说明的一点是Serv-U 的日志记录文件采用统一的格式,具体如下:
[n] DATE TIME - (xxxx) MESSAGE
最前面的数字“n”代表所记录信息的类别,分别为:
n=1:系统信息(错误信息等);
n=2:用户发出的FTP 命令;
n=3:文件下载;
n=4:文件上传;
n=5:安全信息(用户登录信息等)
n=6:服务器响应的FTP 命令;
n=7:WinSock使用记录;
n=8:DLL文件访问记录
另外,括号中的“XXXX”是Serv-U 赋予每一个来访用户的一个唯一的数字标识。
5.设置登录和退出信息
细心的用户可能会发现在登录或退出某个FTP站点时,经常会出现一个窗口,显示一些包括系统设置,欢迎访问等在内的信息。那么如何在S erv-U 下实现这一功能呢?
首先,用户需要把要显示给用户的信息保存在一个文本文件中,然后选择“SETUP”菜单中的“MESSAGES”,在d出的窗口中进行设置。
在位于窗口最上方的下来框中,用户需要选择将要使用登录和退出信息的IP地址。因为Serv-U 支持一台机器拥有多个IP,所以用户需要选择相应的IP地址。在下面的两个选项中分别输入用户事先已经建立好的包含登录和退出信息的文本文件的地址。
使用外部连接
所谓外部连接是指那些显示在某一目录下指向位于该目录之外的某一文件或目录的连接。在用户端看来,外部连接所指向的文件或目录就位于当前目录之下,但实际上他们只是一些起连接作用的虚拟指针。使用外部连接的一个最大好处就是能够把来访用户可能需要的所有资源都集中到一个目录之中,这样用户就可以通过不同的外部连接访问实际上位于不同磁盘或不同目录的分散信息。
为了充分利用Serv-U 提供的外部连接功能,用户首先需要生成一个文本文件保存所有可能会用到的外部连接。文件的具体格式如下:
LINK NAME | SOURCENAME
其中的“LINK NAME”是显示在用户当前目录下的外部连接的名称,而“SOURCENAME”则是该外部连接实际指向的磁盘或目录。
例如我们在一个名为“LINKTXT”的文件中写入如下一条:
CD-ROM | F:\
这样在用户的当前目录中就会出现“CD-ROM”字样,点击之后,就可以直接访问FTP 服务器的光驱。
在配置好外部连接的文本文件之后,选择“FTLE”菜单中的“FTP SERVER”,在d出的窗口中找到“PRIMARY FIEL CONTAINING LINK”,然后输入上述文本文件的完全路径。在“PRIMARY FIEL CONTAINING LINK”下方有一个“SECONDARY FILE CONTAINING LINK”,该项是用来设定起辅助作用的外部连接文件,可以参照上述方法生成。
设置上传和下载比例
如果用户希望自己FTP 站点的使用者不仅仅使用自己提供的资源,还能够上传一些有价值的东西供大家共享的话,可以通过使用Serv-U提供的“上传和下载比例”这一功能实现。
用户可以在“FILE”菜单中的“FTP-SERVER”,“USERS”和“GROUPS”的d出窗口中找到名为“U/D RATIOS”的功能按钮,点击之后出现设置窗口。用户可以限制每个FTP 站点的使用者每上传一个文件后可以下载的文件数。例如,如果将某个用户的上传和下载比例设置为1/3,那么该用户每上传一个文件,就可以从F TP 站点下载3个文件。
Serv-U 支持在单个会话过程或全部会话过程的范围内,按照具体传输的文件数目或文件的大小,限制用户的上传和下载比例。
使用磁盘限额
随着用户数量的增加,一个非常实际的问题就是如何既能够确保每个用户都有足够的硬盘空间可用,同时又防止FTP 服务器吞食整个机器的硬盘资源。同样,在这个问题上Serv-U提供了有力的解决方案。
用户可以分别在“FILE”菜单中的“USERS”和“GROUPS”选项的d出窗口中找到名为“QUATO”的功能按钮。点击之后出现设置窗口,用户可以首先检测某个用户帐号当前所使用的硬盘空间,然后根据具体的情况分别设置不同的用户帐号所能支配的最大硬盘空间,从而有效的解决硬盘空间不足的问题。
基于IP地址授予或拒绝访问权限
选择“FILE”菜单中的“IP ACCESS”选项,在d出的窗口中进行设置。
用户可以在窗口的左边设置不同的访问规则,而当前所有的访问规则将会显示在右边的列表中。
Serv-U 提供了两种基本的访问规则,分别为“拒绝访问”规则和“允许访问”规则。在“拒绝访问”规则下,所有来自用户输入的IP地址的访问者都将被拒绝访问,而来自其它I P地址的用户都将被授予访问权限。同理,如果用户选择了“允许访问”规则,那么所有来自用户输入的IP地址的访问者都将被授予访问权限,而来自其它I P 地址的用户将无权访问FTP 服务器。
通过以上功能,用户可以针对不同的IP地址,设置不同的权限,从而有效的保障FTP 服务器免受非法访问者的侵害。
三.小节
Serv-U 是一款使用简单,功能强大,易学易用的FTP 服务器端软件。相信广大用户结合以上的介绍,再加上个人的实践,一定会在最短的时间内构建起自己的功能强大的FTP服务器。

首先要知道游戏类型是什么,然后知道承载人数是多少,以及开发周期多少。需要根据这些来决定游戏架构和技术选型。

对于gameplay来说,本身就是个大循环,一定频率进行tick,接收来客户端或者其他服务器的rpc,处理逻辑,然后数据落地以及发送数据给客户端或者其他服务器,一般gameplay来说在同一个进程里都是同步的方式去编写,同步的实现大多数是单线程的,或者使用coroutine来实现actor这种模式。大部分游戏交互都是比较多,所以不论service和service之间的交互还是玩家和玩家之间的交互,如果考虑多线程的同步的问题,会非常复杂以及很容易做错,所以一个service内同一个时刻都是在一个线程中执行的。

针对mmo或者一些竞技类游戏往往有场景管理的概念,就是游戏AOI,比如一个玩家移动,需要告诉周围所有的玩家,复杂度在nn,如果减少这个n,就有了AOI算法,比如九宫格,十字链表等,如果刚开服的时候很多人挤到一个主城中,就算采用九宫格和十字链表等AOI等算法,往往同屏内玩家数量还是很大,客户端渲染的单位数量比服务器少一个数量级的,所以场景管理这里还可以有个分线的做法,玩家多的时候,不同线不可见,玩家少的时候进行合并。

如果做帧同步一些关键点为表现要和逻辑分离,随机算法和随机种子的一致性,数学库浮点换定点,三角函数采用泰勒展开或者查表法,需要保序的容器,timer不能基于钟表时间而需要帧timer,以及防作弊(一般都是投票法,或者服务器跑个验证端)

现在很多游戏在线更新bug甚至不停服更新慢慢变成一种强需求了,实现这种方式主要使用脚本热更新,热重启+逻辑内存以及ab服切换来实现。

首先先要确定你组装服务器是用来做什么的,有多少人访问?或者打算支持多少人访问?
如果是简单的网页服务器(非数据库服务器或访问量很小的网站服务器),那么对硬件的要求就不会很高,可以用一些PC机的硬件来完成。
类似:酷睿2双核 ,Intel965主板,DDRII × 1GB,80GB SATA ,千兆以太网卡 1U 机架式 。
其实如果单纯的从服务器的硬件来讲,如果是小网站,这种就足够了,但是如果是数据库服务器或游戏服务器,那么对硬件的要求就比较高了,还要看你的程序(或网站)编写和效率性以及网站程序和 *** 作系统的选择是否合理,服务器带宽是否选择合适,是一个综合决定因素。
举几个目前比较常见的WEB服务器的软件搭配
ASP程序 PHP程序 JSP程序 SQLSERVER数据库 MYSQL数据库
WINDOWS2003(IIS) 支持 IIS或阿帕奇 TOMCAT 支持 支持
LINUX 不支持 阿帕奇 Tomcat 不支持 支持
WINDWOS系统容易上手,但是安全性和效率性最低,尤其是使用了SQLSERVER数据库后,安全性基本谈不上。
中高端的服务器硬件:
CPU:四核5405 20 两个
主板:超微X7DBR-3
内存:绮梦达667 FBD 16G
硬盘:迈拓 4146 SAS,10K,
光驱:笔记本光驱(CD-ROM)
支持RAID0+1
此种配置适合做数据库服务器,属于相对高端的。
总体讲,硬件的选型还是要从多各方面去考虑。

转载表面上看,是一套基于B/S方式实现的分布式管理系统,但其实背后的架构是基于C/S完成的。你以为他是一只鞋吗?其实他是一个吹风机。作为界面化的系统,浏览器框架是不可或缺的,但更加重要的东西在Socket上面。

一、需要解决中央控制端到各节点服务器之间的通信。

这个其实牵扯到一个通信协议的问题,各语言都有自己的socket,thread的库,直接调用即可。但是这个通信协议就需要自己来完成了。既不能太简单,太简单了,明码传输,如果别人获知了这个接口,就很容易执行一些令人讨厌的 *** 作。也不能太复杂,太复杂了等于是给自己找麻烦,所以简单的数据包编解码的工作或者用token验证的方式是需要的。通信协议起码要两种,一种是传输命令执行的协议,一种是传输文件的协议。

二、跨语言的socket通信

为什么要跨语言,主控端和代理端通信,用什么语言开发其实无所谓。但是为了给自己省事,尽可能使用服务器上已经有了的默认语言,Ambari前期采用phppuppet的方式管理集群,这不是不可以,puppet自己解决了socket通信协议和文件传输的问题,可你需要为了puppet在每台服务器上都安装ruby。我是个有点服务器和代码洁癖的人。光是为了一个puppet就装个ruby,我觉得心里特对不起服务器的资源。所以我自己写了一个python的代理端。python是不管哪个linux系统在安装的时候就都会有了。然后主控端的通信,可以用python实现,也可以用php实现,但是考虑到对于更多的使用者来说,改php可能要比改tornado简单许多,所以就没用python开发。hadoop分支版本众多,发布出去,用户要自己修改成安装适合自己的hadoop发行版,就势必要改源码,会php的明显比会python的多。php里面的model封装了所有的 *** 作,而python只是个 *** 作代理人的角色而已。

所以也延伸出一个问题,什么语言用来做这种分布式管理系统的代理端比较合适,我自己觉得,也就是python比较合适了, *** 作系统自带,原生的package功能基本够用。用java和php也可以写agent,但是你势必在各节点预先就铺设好jre或者php运行环境。这就跟为什么用python和java写mapred的人最多是一样的。没人拦着你用nodejs写mapred,也可以写,就是你得在每个节点都装v8的解释引擎,不嫌麻烦完全可以这样干。原理参看map/rece论文,不解释。perl也是 *** 作系统原生带的,但是perl的可维护性太差了,还是算了吧。

所以这就牵扯到一个跨语言的socket问题,理论上来说,这不存在什么问题。但这是理论上的,实际开发过程中确实存在问题,比如socket长连接,通信数据包在底层的封装方式不同。我没有使用xml-rpc的原因之一就是我听说php的xmlrpc跟其他语言的xmlrpc有不同的地方,需要修改才能用,我就没有用这种办法。最早是自己定义的 *** 作协议,这时就遇到了这些问题,所以后来直接采用了thrift方式。就基本不存在跨语言的socket通信问题了。

三、代理端执行结果的获取

无论命令还是文件是否在代理端执行成功,都需要获取到执行结果返回给中央端。所以这里也涉及一个读取节点上的stdout和stderr的问题。这个总体来说不是很难,都有现成的包。当然这个时候你需要的是阻塞执行,而不能搞异步回调。

还有个问题是,我要尽可能使用python默认就带的包,而尽量不让服务器去访问internet下载第三方的包。

还有代理端最重要的一点,就是python的版本兼容性。centos5用python24,centos6用python26,ubuntu基本默认都是27。所以一定要最大限度的保证语言的跨版本兼容性,要是每个 *** 作系统和每一个版本我都写一个代理,我一个人就累死了。

四、浏览器端的model,view,controller

这里面你要封装好所有的通信协议,以及需要在节点上面执行的脚本。发送文件的 *** 作和数据库 *** 作也要在model里面完成。

如果对tcl/tk很熟,也可以写基于 *** 作系统界面方式的管理,不用浏览器就是了。

view对我来说是最痛苦的事,都是现学的jQuery怎么用,前端的工作太可怕了。关于这方面,没有太多可描述的,html和js带给我的只有痛苦的回忆,万恶的undefined。

五、跨 *** 作系统的安装文件封装。

要适应不同的 *** 作系统也是个很麻烦的事情,需要用agent提前获知 *** 作系统的发行分支,版本号。然后去找到对应的安装文件去执行。你不能保证一个分布式系统的集群中所有的节点都可以访问internet,更多的情况是这些节点都存在在一个安全的内网中。只有个别几个节点是可以访问外网的。所以,我势必要把所有的安装文件以及他们的依赖尽可能集中起来。我不确定安装 *** 作系统的lzo,yum或者apt-get会去下什么鬼东西,甚至无论是yum还是apt-get,里面都没有hadoop-lzo的库文件。所以,最好的办法是自己编译打包rpm和deb包。直接安装就好了,别去找repo下载什么。

这就是第五步工作,把需要的依赖的东西自己编译打包成rpm和deb。

deb包很好解决,但是rpm就没那么好办了,需要学习rpm的编译文件如何编写,这块是挺麻烦的,但是这玩意用好了还是挺不错的。现在我自制的安装包里面就已经包含了自己编译的lzo和snappy两种压缩库,以及hadoop-gpl-packaging的rpm和deb。下一个发布的easyhadoop将直接支持centos5,6,suse,以及ubuntu/debian的系统上安装hadoop。已经自带了lzo和snappy以及lzop和snzip。

六、把这些所有东西,整合到一个系统里面。

关联这些所有事情间的联系,整合到一个浏览器界面里面去。写一个分布式的管理脚本不难,写一个界面也不难,但是也许是我的水平不行,这两件事结合起来让他们协同工作还是有点难度的。对我来说,写界面的工作可能更难一点。

Cloudera可能是十来个人在写Manager的东西,ambari也是放到github和apachesvn上面,apache基金会的各种committer在写。easyhadoop没他们功能那么强大,一年来只有我一个人设计架构,功能,各种语言的编码,测试,发布。Fortheloveofgod,WhathaveIdone(英文部分请站在山顶仰天长啸)T_T。从前台到后台,到hadoop和生态系统以及他们的依赖软件的单独patch、编译打包。(系统yum或者apt-get的包不如自己打的好使。)

从时间上来看,全球第一款开源的hadoop部署管理系统应该还是属于ambari,2011年8月开始写的,2012年9月底进入apache的incubator。我是大概2012年8月开始写的easyhadoop,全球第一没赶上,估计国内第一个开源的hadoop管理系统还是可以排上的。

你要有路由器,这样才可以给家里的每台电脑分配一个IP,然后你得给该用来存文件的电脑设置一个用户名和密码,注意一定要有密码,并在桌面--我的电脑--单击右键--远程--在启用远程管理前打上勾并选出你需要用来远程进该电脑的用户
在另一台电脑上,打开远程管理,输入存放文件电脑的IP地址,就会d出一个框框让你输入用户名和密码,这时你输入在要存文件电脑上的用户名和密码就可以进去了一切就是这么简单

首先我们在server机器上创建两个用户!这些用户是用来登录到FTP的!我的电脑右键->管理->本地用户和组->用户->“右键”新建用户->输入用户名和密码再点创建就行了!
在C盘新建文件夹“C:\FTP上传”,并在此文件下新建“LocalUser”文件夹,并在此文件夹下创建“Public”(这个是公共文件夹)、“xxx”和“xxx1”文件夹(xxx和XXX1必须与创建的本地用户相同)。在C盘新建文件夹“C:\FTP下载”!并在每个文件夹里放不同的文件,以便区分!
安装IIS组件!在开始菜单里—>控制面板-〉添加或删除程序->添加/删除windows组件->应用程序服务器->详细信息->IIS-〉详细信息-〉FTP-〉确定-〉完成!这样就把FTP安装在服务器上了!
配置FTP服务器,创建上传和下载服务!创建上传服务器:右键FTP站点->选择新建FTP站点->描述可以根据自己的需要填写->地址一般都是server的地址,端口就用默认的21吧->因为是提供上传服务的,所以就用隔离用户啦->它的目录指向“C:\FTP上传”->访问权限要钩上“读取”和“写入”啦(上错了的~)->点击完成就把上传的服务创建好了!创建下载服务器:因为21号端口已经被占用所以我们就用2121端口!不隔离用户!它的目录指向“C:\FTP下载”!只有读取权限!就简单的几步我们就把一个FTP服务器创建好了!
在XP主机上测试已经完成安装的FTP服务器!我们在XP主机上输入FTP服务器的IP地址FTP://19216812就能打开上传的FTP页面,输入FTP://19216812:2121就能打开下载页面了!我们还可以用之前创建的那两个用户去登录FTP服务器!因为只有上传服务提供了用户文件夹!所以只有登录到上传服务时才能打开用户文件夹!这个文件夹是用专用的,其它用是无法对里面的文件进行 *** 作的!我们还能成功地在下载服务器里下载文件到XP主机上了!


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/13326074.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-07-15
下一篇 2023-07-15

发表评论

登录后才能评论

评论列表(0条)

保存