如何进行服务器的批量管理以及python 的paramiko的模块

最近对公司的通道机账号进行改造管理，全面的更加深入的理解了公司账号管理的架构。（注：基本上所有的机器上的ssh不能使用，只有部分机器能够使用。为了安全的角度考虑，安装的不是公版的ssh，而都是定制版的ssh，（限制了机器上的源IP地址即可））。

自动化管理服务器，有两种方法：

第一种方法，是我们公司自己开发的（服务器大概是3W台），基本上服务器之间不能够通过ssh互相连通，只能是一台服务器能够连到所有的服务器上，这台服务器我们称之为通道机（也叫堡垒机），当我们想登某台服务器的时候，需要先登上这台通道机，然后经过一系列的验证之后，就能自动的登上你要登到的服务器上。

并且我们自己开发了一套叫做通道机API的方式，来管理3W台服务器，比如收集各台服务器的信息等。其这个API的本质就是使用的是POST的方式将命令post到目标机上，然后返回结果进行处理即可。这是一个大概的思想。

第二种方法，就是使用ssh的协议进行管理，使用python的paramiko来进行管理，下面会进行介绍：

有一些想法，可以使用python的paramiko模块来进行管理名下服务器，前提是能够ssh到各个服务器上。

下面对这个paramiko的模块做个简单的介绍和分享：

1简介：

paramiko是用python语言写的一个模块，遵循SSH2协议，支持以加密和认证的方式，进行远程服务器的连接。

由于使用的是python这样的能够跨平台运行的语言，所以所有python支持的平台，如Linux, Solaris, BSD, MacOS X, Windows等，paramiko都可以支持，因此，如果

需要使用SSH从一个平台连接到另外一个平台，进行一系列的 *** 作时，paramiko是最佳工具之一。

举个常见的例子，现有这样的需求：需要使用windows客户端，远程连接到Linux服务器，查看上面的日志状态，大家通常使用的方法会是：

1：用telnet

2：用PUTTY

3：用WinSCP

4：用XManager等…

那现在如果需求又增加一条，要从服务器上下载文件，该怎么办？那常用的办法可能会是：

1：Linux上安装FTP并配置

2：Linux上安装Sambe并配置…

大家会发现，常见的解决方法都会需要对远程服务器必要的配置，如果远程服务器只有一两台还好说，如果有N台，还需要逐台进行配置，或者需要使用代码进行以上 *** 作

时，上面的办法就不太方便了。

使用paramiko可以很好的解决以上问题，比起前面的方法，它仅需要在本地上安装相应的软件（python以及PyCrypto），对远程服务器没有配置要求，对于连接多台服

务器，进行复杂的连接 *** 作特别有帮助。

2使用的几个简单的案例：

下面是两种使用paramiko连接到linux服务器的代码：

方式一：

1 ssh = paramikoSSHClient()2 sshset_missing_host_key_policy(paramikoAutoAddPolicy())3 sshconnect("IP地址",22,"用户名","密码")

上面的第二行代码的作用是允许连接不在know_hosts文件中的主机。

方式二：

1 t = paramikoTransport(("IP地址","端口"))2 tconnect(username = “用户名”, password = “口令”)3 如果连接远程主机需要提供密钥，上面第二行代码可改成：4 tconnect(username = “用户名”, password = “口令”, hostkey=”密钥”)

3一些简单的例子：

如果linux服务器开放了22端口，在windows端，我们可以使用paramiko远程连接到该服务器，并执行任意命令，然后通过 print或其它方式得到该结果。

1 #!/usr/bin/python 2 import paramiko3  4 ssh = paramikoSSHClient()5 sshset_missing_host_key_policy(paramikoAutoAddPolicy())6 sshconnect("某IP地址",22,"用户名", "口令")7 stdin, stdout, stderr = sshexec_command("你的命令")8 print stdoutreadlines()9 sshclose()

其中的”你的命令”可以任意linux支持的命令，如一些常用的命令：

1 df：查看磁盘使用情况2 uptime：显示系统运行时间信息3 cat：显示某文件内容4 mv/cp/mkdir/rmdir:对文件或目录进行 *** 作5 /sbin/service/ xxxservice start/stop/restart：启动、停止、重启某服务6 netstat -ntl |grep 8080：查看8080端口的使用情况
7  或者 nc -zv localhost ：查看所有端口的使用情况
8 find / -name XXX：查找某文件9

这样一来，对于linux的任何 *** 作几乎都可以通过windows端完成，如果对该功能进行引申，还可以同时管理多台服务器。

4 从widnows端下载linux服务器上的文件

1 #!/usr/bin/python  2 import paramiko 3   4 t = paramikoTransport((“主机”,”端口”)) 5 tconnect(username = “用户名”, password = “口令”) 6 sftp = paramikoSFTPClientfrom_transport(t) 7 remotepath=’/var/log/systemlog’ 8 localpath=’/tmp/systemlog’ 9 sftpget(remotepath, localpath)10 tclose()

5从widnows端上传文件到linux服务器

1 #!/usr/bin/python  2 import paramiko 3  4 t = paramikoTransport((“主机”,”端口”)) 5 tconnect(username = “用户名”, password = “口令”) 6 sftp = paramikoSFTPClientfrom_transport(t) 7 remotepath=’/var/log/systemlog’ 8 localpath=’/tmp/systemlog’ 9 sftpput(localpath,remotepath)10 tclose()

分布式服务器上下线动态感知（Hadoop HA）
HDFS集群中NameNode 存在单点故障问题，对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。

影响HDFS集群不可用主要包括以下两种情况：

NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用。

计划需要对NameNode节点软件或硬件升级，导致集群在短时间内不可用。

为了解决上述问题，Hadoop给出了HDFS的 高可用 HA方案：HDFS的HA通常由两个NameNode组成，一个处于 active 状态，另一个处于 standby 状态。Active NameNode对外提供服务，比如处理来自客户端的RPC请求，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。而这里的快速切换是如何实现的呢？是通过zookeeper的 动态上线感知 来实现的。

简单介绍下zookeeper是什么？

ZooKeeper 顾名思义  动物园管理员 ，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig)  的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei  等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，ZooKeeper是以Fast Paxos算法为基础，实现同步服务，配置维护和命名服务等分布式应用。这是zookeeper的官方介绍，对于程序原来说zookeeper在hadoop中的应用可以理解为是hadoop的整体监控系统，如果namenode宕机后，这时候Zookeeper 的重新选出leader。这是它最大的作用所在。

接下来看看zookeeper的 动态上线感知 图：

1、首先在hadoop中配置自动故障转移机制。

2、在配置HA的时候首先配置zookeeper集群，然后启动zookeeper集群。

3、在第一次启动hadoop的HA之前先初始化HA在zookeeper中的状态然后启动HA，在启动过程中会在各个NameNode节点上启动DFSZK Failover Controller，作用就是向zookeeper中注册服务器的信息，然后hadoop通过进程监控在zookeeper中的节点状态。

4、在zookeeper中注册的节点是临时节点，当服务器宕机下线的时候，zookeeper会把这个节点删除掉，这样才会产生事件，客户端（hadoop）才能监听到，然后hadoop将Standby NameNode转换为Active NameNode。

1、因为代理商和版权方所签署的授权合同即将到期。
2、在良心的运营之下却是毫无新意的照搬游戏玩法模式，最终在激烈的市场竞争中败下阵来。
所以最终在经过多方考量和友好协商后游戏决定于5月17正式停止运营服务，关闭服务器和下架游戏，最终退出手游市场。并且为了能让玩家体验到最后的乐趣，策划还开启了所有角色的UP卡池，设置了关服前每日10连抽卡和自选皮肤礼包。

---