Linux HA 集群原理和配置-02

本文介绍在Linux HA集群中的仲裁和分区概念。

集群正常工作时，所有节点都在一个分区内（partition），分区内的所有节点将选举出一个仲裁节点，这个仲裁节点负责向其他节点发送集群控制命令。当网络发生故障时，集群中的节点发现无法和仲裁节点通信，则会在可通信的范围内重新选举一个新的仲裁节点。此时集群内可能出现多个仲裁节点，每个仲裁节点的管理范围为一个分区。

下文中将通过防火墙策略的设置模拟集群网络中通信出现异常的各种情况，如：

通过防火墙策略可以精准控制两两节点之间的连通性，使我们能更准确的了解在网络连通性发生变化对集群的影响。

在所有节点上启动防火墙，并添加策略对整个管理网络192.168.56.0/24放通。

保存上述策略，之后在实验过程会使用iptables命名加入新策略模拟网络通信异常效果，如果需要恢复网络通信正常状态，直接不保存策略重启firewalld服务即可。

通过pcs status查看集群状态：

上述结果显示当前集群只有一个分区，分区内的节点包括全部3台主机，仲裁节点是ha-host3，这表示集群间的通信是完好的。下图显示当前集群状态：

在ha-host1上添加以下策略：

该策略将使得ha-host1和ha-host3之间的通信中断，在所有节点上查看集群状态：

上面的结果显示，ha-host1失去和当前仲裁节点ha-host3的联系之后，和ha-host2一起组成新的分区并选举出ha-host2作为新的仲裁节点。有趣的是ha-host2和ha-host3的通信并未中断，但是他被“优先级较高的ha-host1抢走并推举为老大”，剩下ha-host3独自留在其自身所在的分区。此时ha-host3所在的分区提示了“partition WITHOUT quorum”，表示该分区中的节点数目不超过一半。

下图显示当前集群状态：

在ha-host1上再添加策略：

使其和当前的仲裁节点ha-host2的通信中断，集群状态变为：

发现ha-host2和ha-host3一起组成了新的分区，由于ha-host1所在分区节点数不足一半，无法启动资源，虚拟ip资源vip被切换到了ha-host2上。下图显示当前集群状态：

如果再把ha-host2和ha-host3直接的通信中断，此时3个节点间两两均无法通信。每个节点都是一个分区，每个分区的主机数均不过半，因此无法启动任何资源，原先运行在ha-host2上的vip也停止了。

当前集群状态如下图：

【实验配置环境】

服务器系统：CentOS-5.6

LVS主节点（lvs-master）：192.168.2.250(eth0) 心跳直连接口：192.168.1.250(eth1)

LVS备节点（lvs-backup）：192.168.2.251(eth0) 心跳直连接口：192.168.1.251(eth1)

Web Server-1：192.168.2.252

Web Server-2：192.168.2.253

VIP（虚拟ip）：192.168.2.254

注：4台服务器已经配置好LNMP（Linux+Nginx+PHP(FastCGI模式)+mysql）网站运行环境，当然使用apache也可以。这里主备节点也当作真实服务器使用，所以也配置了网站环境。

本文配置拓扑图：

主备调度器eth1接口使用交叉线相连（理论上是这样）

线序为： 一头为568A标准：白绿，绿；白橙，蓝；白蓝，橙；白棕，棕

另一头为568B标准：白橙，橙；白绿，蓝；白蓝，绿；白棕，棕

在LVS主节点和备节点的/etc/hosts中加入以下内容：

#vim /etc/hosts

192.168.2.250 lvs-master

192.168.2.251 lvs-backup

修改主机名：

# vim /etc/sysconfig/network

NETWORKING=yes

NETWORKING_IPV6=no

hostname=lvs-master

GATEWAY=192.168.2.1

# vim /etc/hosts

# Do not remove the following line, or various programs

# that require network functionality will fail.

127.0.0.1 lvs-master localhost.localdomain localhost

::1 localhost6.localdomain6 localhost6

这2个文件都要修改，修改完后重启生效，备份机修改方法一样，不在重述。

【下载软件】

[libnet]

wget http://search.cpan.org/CPAN/authors/id/G/GB/GBARR/libnet-1.22.tar.gz

[ipvsadm]

wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz

[Heartbeat]

wget http://hg.linux-ha.org/heartbeat-STABLE_3_0/archive/STABLE-3.0.4.tar.bz2

[Cluster Glue]

wget http://hg.linux-ha.org/glue/archive/glue-1.0.7.tar.bz2

[Resource Agents]

wget https://download.github.com/ClusterLabs-resource-agents-agents-1.0.4-0-gc06b6f3.tar.gz

一、 配置LVS主节点（lvs-master）

1. 安装libnet

# tar zxvf libnet-1.1.2.2.tar.gz

# cd libnet

# ./configure

# make &&make install

# cd ..

2. 安装ipvsadm

# yum install kernel-devel //安装对应内核的kernel-devel

# tar zxvf ipvsadm-1.24.tar.gz

# cd ipvsadm-1.24

# ln -s /usr/src/kernels/`ls /usr/src/kernels/` /usr/src/linux //将当前使用内核连接到/usr/src/linux

# make &&make install

# cd..

3. 安装Heartbeat

3.1 确认系统已经安装以下软件（系统光盘中有）

libxslt、libxslt-devel、libgcrypt-devel、autoconf、automake、pkgconfig、libgpg-error-devel、libtool、sgml-common、opensp、openjade、xml-common、docbook-dtds、docbook-style

如果在编译安装过程中出错，很有可能是因为缺少了相关的软件包

3.2 安装glue

# groupadd haclient

# useradd -g haclient -M -s /sbin/nologin hacluster

# tar jxvf glue-1.0.7.tar.bz2

# cd Reusable-Cluster-Components-glue--glue-1.0.7/

# ./autogen.sh

# ./configure

# make &&make install

# cd ..

3.3 安装 agents

# tar zxvf ClusterLabs-resource-agents-agents-1.0.4-0-gc06b6f3.tar.gz

# cd ClusterLabs-resource-agents-c06b6f3/

# ./autogen.sh

# ./configure

# make &&make install

# cd..

3.4 安装Heartbeat

# tar jxvf Heartbeat-3-0-STABLE-3.0.4.tar.bz2

# cd Heartbeat-3-0-STABLE-3.0.4

# ./ConfigureMe configure

# gmake &&make install

# cd..

4. 配置lvs启动脚本

本实验采用的是lvs-DR模式，该模式的特点是客户端的请求从主/备节点进入分配到web server，然后web server的响应是直接交付给客户端的。

# vim /etc/init.d/lvs

#!/bin/sh

#chkconfig: 2345 20 80

#description: start_lvs_of_dr

VIP1=192.168.2.254

RIP1=192.168.2.250

RIP2=192.168.2.251

RIP3=192.168.2.252

RIP4=192.168.2.253

./etc/rc.d/init.d/functions

case "$1" in

start)

echo "开启LVS DirectorServer..."

#设置虚拟IP地址

#LVS启动时添加VIP的网口eth0:0

/sbin/ifconfig eth0:0 $VIP1 broadcast $VIP1 netmask 255.255.255.255 up

/sbin/route add -host $VIP1 dev eth0:0

#清除IPVS表

/sbin/ipvsadm -C

#设置LVS

/sbin/ipvsadm -A -t $VIP1:80 -s lc

/sbin/ipvsadm -a -t $VIP1:80 -r $RIP1:80 -g

/sbin/ipvsadm -a -t $VIP1:80 -r $RIP2:80 -g

/sbin/ipvsadm -a -t $VIP1:80 -r $RIP3:80 –g

/sbin/ipvsadm -a -t $VIP1:80 -r $RIP4:80 -g

#使用ipvsadm来转发客户端请求。-s lc为最小连接数算法，-g是采用DR模式。有多少RIP就添加几条记录。

#启动LVS

/sbin/ipvsadm

stop)

echo "停止LVS DirectorServer..."

#关闭时清除ipvsadm表

/sbin/ipvsadm –C

*)

echo "Usage: $0 {start|stop}"

exit 1

esac

注：这个脚本不要使用chkconfig管理，放入/etc/init.d内即可。

5. 安装ldirectord相关组件

默认安装完上面的三个软件包之后，ldirectord已经安装到系统中，默认路径在 /usr/etc/ ，由于ldirectord是由perl语言编写的，所以必须安装相关的软件包：Socket6、libwww-perl、URI、MailTools、HTML-Parser

# yum -y install perl-Socket6 perl-libwww-perl perl-URI perl-MailTools perl-HTML-Parser

也可以在http://search.cpan.org/网站下载相关软件包安装

安装方法：

# perl Makefile.PL

# make &&make install

6. 配置heartbeat

# cp -a /usr/etc/ha.d/ /etc/

# rm -fr /usr/etc/ha.d/

# ln -s /etc/ha.d/ /usr/etc/

# cp /usr/share/doc/haresources /etc/ha.d/

# cp /usr/share/doc/authkeys /etc/ha.d/

# cp /usr/share/doc/ha.cf /etc/ha.d/

# chmod 600 /etc/ha.d/authkeys //这个文件的权限必须是600

6.1 修改配置文件

6.1.1 authkeys文件配置（authkeys文件的作用是用来设置心跳信息的加密方式）

vim /etc/ha.d/authkeys

auth 1

1 crc

#2 sha1 HI!

#3 md5 Hello!

此设置是使用crc循环冗余校验，不采用加密的方式。

6.1.2 ha.cf为heartbeat的主配置文件，修改下面配置。

# vim /etc/ha.d/ha.cf

#日志文件位置

logfile /var/log/ha-log

#指定主备服务器多久发送一次心跳

keepalive 2

#指定30秒没有收到对方心跳就认为对方已经down机

deadtime 30

#10秒没有收到心跳，便发出警报。

warntime 10

#对方DOWN后120秒重新检测一次。

initdead 120

#指定监听端口

udpport 694

#心跳监听网口，这里为eth1

bcast eth1 //去掉后面#linux

#备份机的心跳线接口与接口IP

ucast eth1 192.168.1.251

#主节点恢复后，自动收回资源。

auto_failback on

#指定主备服务器的主机名称，即在hosts文件中指定的。第一个node为主服务器，第二个node为备服务器。

node lvs-master //服务器的主机名

node lvs-backup

#当192.168.2.1、192.168.2.2这两个IP都不能ping通时，对方即开始接管资源。

ping_group group1 192.168.2.1 192.168.2.2

#启用ipfail脚本

respawn root /usr/lib/heartbeat/ipfail

#指定运行ipfail的用户。

apiauth ipfail gid=root uid=root

6.1.3 haresources文件配置，这个文件是指定虚拟IP和改主机控制的脚本。

# vim /etc/ha.d/haresources

lvs-master 192.168.2.254 lvs ldirectord

// master.lvs.net可为主节点主机名，192.168.2.254为虚拟IP

6.1.4 ldirectord.cf是ldirectord进程的配置文件，该进程用来监视web server的运行状况，如果web server不能响应请求则把它排除在转发列表外。

复制安装文件ldirectord目录上的ldirectord.cf 到/etc/ha.d/conf下，如果找不到可以查找一下：find / -name ldirectord.cf

# mkdir /etc/ha.d/conf

# cp ldirectord.cf /etc/ha.d/conf

# vim /etc/ha.d/conf/ldirectord.cf

# Global Directives

#设置真实web server的超时时间

checktimeout=30

#监视真实web server的时间间隔

checkinterval=10

#如全部真实web server失败，则转发至本地

fallback=127.0.0.1:80

#改变配置文件内容，不需要重新ldirectord

autoreload=yes

#指定日志位置

logfile="/var/log/ldirectord.log"

quiescent=no

# A sample virual with a fallback that will override the gobal setting

#指定虚拟IP

virtual=192.168.2.254:80

#指定真实web server IP及监听端口

real=192.168.2.250:80 gate

real=192.168.2.251:80 gate

real=192.168.2.252:80 gate

real=192.168.2.253:80 gate

fallback=127.0.0.1:80 gate

service=http

#指定转发算法

scheduler=lc //这里的算法要和LVS脚本的算法一样

protocol=tcp

#监视VIP服务器的方法

checktype=negotiate

checkport=80

#监听测试页面名称，这个页面放入真实web server web服务的根目录

request="lvs_testpage.html"

#指定测试页面返回内容

receive="test Page"

virtualhost= lvstest.net

配置文件中的lvs_testpage.html必须存在网站根目录下，校验一下配置：

# ldirectord -d /etc/ha.d/conf/ldirectord.cf start //按Ctrl+C结束

# cp /etc/ha.d/shellfuncs /usr/lib/ocf/resource.d/heartbeat/.ocf-shellfuncs

以上lvs和heartbeat配置完成。

LVS备节点（lvs-backup）的配置和LVS主节点（lvs-master）完全一样。

只是在/etc/ha.d/ha.cf中“ucast eth1 192.168.1.251”此配置地址不一样。

二、配置真实web server脚本

在每台web server的/etc/init.d目录下放置realserver脚本，这里主备节点同时也作为web server使用。

# vim /etc/init.d/realserver

#!/bin/bash

# chkconfig: 2345 20 80

# description: lvs_dr_realserver

#指定虚拟IP

VIP=192.168.2.254

host=`/bin/hostname`

case "$1" in

start)

# Start LVS-DR real server on this machine.

/sbin/ifconfig lo down

/sbin/ifconfig lo up

#修改相关内核参数

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

/sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 up

/sbin/route add -host $VIP dev lo:0

stop)

# Stop LVS-DR real server loopback device(s).

/sbin/ifconfig lo:0 down

status)

# Status of LVS-DR real server.

islothere=`/sbin/ifconfig lo:0 | grep $VIP`

isrothere=`netstat -rn | grep "lo" | grep $VIP`

if [ ! "$islothere" -o ! "$isrothere" ]

then

# Either the route or the lo:0 device

# not found.

echo "LVS-DR real server Stopped."

else

echo "LVS-DR Running."

fi

*)

# Invalid entry.

echo "$0: Usage: $0 {start|status|stop}"

exit 1

esac

# chmod +x /etc/init.d/lvs

# chmod +x /etc/init.d/realserver

# service heartbeat start //主备LVS调度器上执行

# /etc/init.d/lvs start //主备LVS调度器上执行

# /etc/init.d/realserver start //真实web服务器上执行

# chkconfig --level 35 heartbeat on

# echo “/etc/init.d/lvs start” >>/etc/rc.local //开机启动

# echo “/etc/init.d/realserver start” >>/etc/rc.local //开机启动

三、测试

配置我已经测试过了，但是不同系统环境可能会出一些意料之外的事情。

---