Keepalived 配置详解

1、keepalived配置包括三个部分：

全局配置

VRRPD配置

LVS配置

2、VRRPD配置：

4、VRRP实例配置：
6、LVS设置：负载均衡用
6、nopreempt不抢占模式只能用在BACKUP下，而且设置在优先级高的那台上，意思是当宕机的主服务器恢复后，不抢占已经成为主服务器的备服务器

根据我的理解，keepalived是一个开源的高可用性解决方案，它可以在多个服务器之间提供虚拟IP地址的自动切换，从而实现系统的高可用性。如果你关闭了keepalived，它不应该自动启动，除非你已经将其配置为系统服务。如果你想让keepalived在系统启动时自动启动，你可以将其添加到系统服务中并设置为自动启动。但是，请注意，如果你在生产环境中使用keepalived，请务必小心谨慎，并确保你了解keepalived的工作原理和配置方法，以避免系统故障或数据丢失。

使用MySQL双master+keepalived是一种非常好的解决方案，在MySQL-HA环境中，MySQL互为主从关系，这样就保证了两台MySQL数据的一致性，然后用keepalived实现虚拟IP，通过keepalived自带的服务监控功能来实现MySQL故障时自动切换。
下面，我把即将上线的一个生产环境中的架构与大家分享一下，看一下这个架构中，MySQL-HA是如何实现的，环境拓扑如下
MySQL-VIP：10101021
MySQL-master1：10101017
MySQL-master2：10101018
OS版本：Redhat62
MySQL版本：mysql-5159
Keepalived版本：keepalived-1120
一、MySQL master-master配置
1、修改MySQL配置文件
两台MySQL均如要开启binlog日志功能，开启方法：在MySQL配置文件[MySQLd]段中加上log-bin=MySQL-bin选项
两台MySQL的server-ID不能一样，默认情况下两台MySQL的serverID都是1，需将其中一台修改为2即可
Master1配置：
#vim /etc/mycnf
log-bin=mysql-bin //开启binlog日志功能
log =/usr/local/mysql/var/mysqllog //会打印mysql的所以sql语句
server-id= 1 //
binlog-do-db =mysql //需要同步的库名称
auto-increment-increment= 2
auto-increment-offset= 2
Master2配置：
#vim /etc/mycnf
log-bin=mysql-bin //开启binlog日志功能
log =/usr/local/mysql/var/mysqllog //会打印mysql的所以sql语句
server-id= 2
binlog-do-db =mysql //需要同步的库名称
auto-increment-increment= 2
auto-increment-offset= 2
2、建授权用户
在10101017上新建授权用户
grant replicationslave on to test@’101010%’ identified by ‘123456’;
在10101018服务器上建授权用户
grant replicationslave on to test@’101010%’ identified by ‘123456’;
3、将10101017设为10101018的主服务器
在10101018上将10101017设为自己的主服务器
mysql> show master status;（17服务器配置）
1+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin000027| 106|mysql | |
+------------------+----------+--------------+------------------+
1 row in set (001 sec)
MySQL> change master to master_host='10101017',master_user=’test’,master_password='123456',master_log_file='MySQL-bin000027',master_log_pos=106;
Query OK, 0 rows affected (005 sec)
MySQL> start slave;
Query OK, 0 rows affected (000 sec)
mysql> show slave status \G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes \\如果此2项都为yes，master-master配置即成功
将10101018设为10101017的主服务器 方法与上面设置一致只需将
在10101017上将10101018设为自己的主服务器
mysql> show master status;（18服务器配置）
1+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin000027| 106|mysql | |
+------------------+----------+--------------+------------------+
1 row in set (001 sec)
MySQL> change master to master_host='10101018',master_user=’test’,master_password='123456',master_log_file='MySQL-bin000027',master_log_pos=106;
Query OK, 0 rows affected (005 sec)
MySQL> start slave;
Query OK, 0 rows affected (000 sec)
mysql> show slave status \G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes \\如果此2项都为yes，master-master配置即成功
测试是否成功：
如上述均正确配置，现在在任何一台MySQL上更新数据都会同步到另一台MySQL(仅限mysql库)
二、keepalived安装及配置
1、10101017服务器上keepalived安装及配置
安装keepalived
#tar zxvfkeepalived-1120targz
#cdkeepalived-1120
#/configure--prefix=/usr/local/keepalived--with-kernel-dir=/usr/src/kernels/2632-220el6x86_64
#make &&make install
配置keepalived
我们自己在新建一个配置文件，默认情况下keepalived启动时会去/etc/keepalived目录下找配置文件
#mkdir/etc/keepalived
#vi/etc/keepalived/keepalivedconf
global_defs {
notification_email {
}
smtp_server 127001 （如果本机配置的话）
smtp_connect_timeout 30
router_id MySQL-ha
}
vrrp_instance VI_1{
state BACKUP #两台配置此处均是BACKUP
interface p4p1 #注意网卡接口
virtual_router_id 51
priority 100 #优先级，另一台改为90
advert_int 1
nopreempt #不主动抢占资源，只在优先级高的机器上设置即可，优先级低的机器不设置
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
10101021
}
}
virtual_server10101021 3306 {
delay_loop 2 #每个2秒检查一次real_server状态
lb_algo wrr #LVS算法
lb_kind DR #LVS模式
persistence_timeout 60 #会话保持时间
protocol TCP
real_server 10101017 3306 {
weight 3
notify_down /usr/local/my/mysh #检测到服务down后执行的脚本
TCP_CHECK {
connect_timeout 10 #连接超时时间
nb_get_retry 3 #重连次数
delay_before_retry 3 #重连间隔时间
connect_port 3306 #健康检查端口
}
}
编写检测服务down后所要执行的脚本
#vi/usr/local/MySQL/bin/MySQLsh
#!/bin/sh
pkillkeepalived
#chmod +x/usr/local/MySQL/bin/MySQLsh
注：此脚本是上面配置文件notify_down选项所用到的，keepalived使用notify_down选项来检查real_server的服务状态，当发现real_server服务故障时，便触发此脚本；我们可以看到，脚本就一个命令，通过pkill keepalived强制杀死keepalived进程，从而实现了MySQL故障自动转移。另外，我们不用担心两个MySQL会同时提供数据更新 *** 作，因为每台MySQL上的keepalived的配置里面只有本机MySQL的IP+VIP，而不是两台MySQL的IP+VIP
启动keepalived
#/usr/local/keepalived/sbin/keepalived–D
#ps -aux | grepkeepalived
测试
找一台局域网PC，然后去ping MySQL的VIP，这时候MySQL的VIP是可以ping的通的
停止MySQL服务，看keepalived健康检查程序是否会触发我们编写的脚本
1、10101018服务器上keepalived安装及配置
安装keepalived
#tar zxvfkeepalived-1120targz
#cdkeepalived-1120
#/configure--prefix=/usr/local/keepalived--with-kernel-dir=/usr/src/kernels/2632-220el6x86_64
#make &&make install
配置keepalived
我们自己在新建一个配置文件，默认情况下keepalived启动时会去/etc/keepalived目录下找配置文件
#mkdir/etc/keepalived
#vi/etc/keepalived/keepalivedconf
global_defs {
notification_email {
}
smtp_server 127001
smtp_connect_timeout 30
router_id MySQL-ha
}
vrrp_instance VI_1{
state BACKUP #两台配置此处均是BACKUP
interface p4p1 #注意网卡接口
virtual_router_id 51
priority 90 #优先级，另一台改为90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
10101021
}
}
virtual_server10101021 3306 {
delay_loop 2 #每个2秒检查一次real_server状态
lb_algo wrr #LVS算法
lb_kind DR #LVS模式
persistence_timeout 60 #会话保持时间
protocol TCP
real_server 10101018 3306 {
weight 3
notify_down /usr/local/my/mysh #检测到服务down后执行的脚本
TCP_CHECK {
connect_timeout 10 #连接超时时间
nb_get_retry 3 #重连次数
delay_before_retry 3 #重连间隔时间
connect_port 3306 #健康检查端口
}
}
启动keepalived
#/usr/local/keepalived/sbin/keepalived–D
#ps -aux | grepkeepalived
测试
停止MySQL服务，看keepalived健康检查程序是否会触发我们编写的脚本
三、测试
两台MySQL服务器都要授权允许从远程登录
MySQL> grantall privileges on to andyguo@'%' identified by '123456';
Query OK, 0 rowsaffected (000 sec)
MySQL> flushprivileges;
Query OK, 0 rowsaffected (000 sec)
keepalived故障转移测试:
在windows客户端一直去ping VIP，然后关闭10101017上的keepalived，正常情况下VIP就会切换到10101018上面去
开启10101017上的keepalived，关闭10101018上的keepalived，看是否能自动切换，正常情况下VIP又会属于10101017
注：keepalived切换速度还是非常块的，整个切换过程只需1-3秒
MySQL故障转移测试：
在10101017上关闭MySQL服务，看VIP是否会切换到10101018上
开启10101017上的MySQL和keepalived，然后关闭10101018上的MySQL，看VIP是否会切换到10101017上
如果都没问题，到此整个配置即已完成。
备注（在测试的过程中遇到了一些问题，解决方法）
Keepalived_healthcheckers:IPVS: Can't initialize ipvs: Protocol not available
起初重装了ipvsadm和keepalived，但故障依旧，随后突然想到是否lvs模块加载异常，于是lsmod|grep ip_vs发现果然没有相应的模块，而正常情况下应该是有的
e、手动加载ip_vs模块
modprobe ip_vs
modprobe ip_vs_wrr
f、重启keepalived服务，故障排除，此时转发正常，从服务器的ip_vs加载正常，主从切换也正常
g、将modprobeip_vs、modprobe ip_vs_wrr添加进/etc/rclocal开机自动加载

keepalive起初是为LVS设计的，专门用来监控lvs各个服务节点的状态，后来加入了vrrp的功能，因此除了lvs，也可以作为其他服务（nginx，haproxy）的高可用软件。VRRP是virtual router redundancy protocal（虚拟路由器冗余协议）的缩写。VRRP的出现就是为了解决静态路由出现的单点故障，它能够保证网络可以不间断的稳定的运行。所以keepalive一方面具有LVS cluster node healthcheck功能，另一方面也具有LVS director failover。
keepalive的两大功能：
healthcheck和failover

LVS cluster node healthcheck

keepalive高可用服务原理介绍:
keepalive director高可用之间的故障切换转移，是通过VRRP协议实现的。
在keepalive director工作时，主节点会不断的向备节点发送心跳消息，告知自己还活着，当主节点故障时，备节点无法接收主节点的心跳消息，此时就会启用自身的服务接管程序将主节点的IP和服务资源接管过来。当主节点恢复工作之后，又会释放IP资源和服务，恢复至备节点的角色。
VRRP协议原理简单介绍：
VRRP是通过一种竞选协议协议机制来将路由的任务交给VRRP的路由器。在一VRRP的虚拟路由中，有多台物理的VRRP路由器，但是这多台路由器不同时工作，而是由一台Master负责路由工作，其他的都是backup，master是由backup竞争而来的，当master失去响应时，会从余下的backup中选出master来接管IP地址和服务资源。
VRRP协议的所有报文都是通过IP多播的形式传递消息，在一个虚拟路由器中，只有作为Master的VRRP路由器会一直发送VRRP广播包，当其他backup没有收到广播包时候，会迅速抢占master（谁的有限级高，谁就会抢占成功），处于安全性考虑VRRP协议传输数据时候进行了加密。

VRRP是virtual router redundancy protocal（虚拟路由器冗余协议）的缩写。

小结：

1，VRRP是virtual router redundancy protocal（虚拟路由器冗余协议）的缩写。

2，VRRP是通过一种竞选协议协议机制来将路由的任务交给VRRP的路由器。

3，VRRP协议的所有报文都是通过IP多播的形式传递消息

4，处于安全性考虑VRRP协议传输数据时候进行了加密。

官方网站： >Keepalived 是一种高性能的服务器高可用或热备解决方案， Keepalived 可以用来防止服务器单点故障的发生，通过配合 Haproxy 可以实现 web 前端服务的高可用。

Keepalived 以 VRRP 协议为实现基础，用 VRRP 协议来实现高可用性(HA)。

 VRRP(Virtual Router Redundancy Protocol)协议是用于实现路由器冗余的协议， VRRP 协议将两台或多台路由器设备虚拟成一个设备，对外提供虚拟路由器 IP(一个或多个)，而在路由器组内部，如果实际拥有这个对外 IP 的路由器如果工作正常的话就是 MASTER，或者是通过算法选举产生。

 MASTER 实现针对虚拟路由器 IP 的各种网络功能，如 ARP 请求， ICMP，以及数据的转发等；其他设备不拥有该虚拟 IP，状态是 BACKUP，除了接收 MASTER 的VRRP 状态通告信息外，不执行对外的网络功能。

当主机失效时， BACKUP 将接管原先 MASTER 的网络功能。

VRRP 协议使用多播数据来传输 VRRP 数据， VRRP 数据使用特殊的虚拟源 MAC 地址发送数据而不是自身网卡的 MAC 地址， VRRP 运行时只有 MASTER 路由器定时发送 VRRP 通告信息，表示 MASTER 工作正常以及虚拟路由器 IP(组)， BACKUP 只接收 VRRP 数据，不发送数据，如果一定时间内没有接收到 MASTER 的通告信息，各 BACKUP 将宣告自己成为 MASTER，发送通告信息，重新进行 MASTER 选举状态。
如果网路不允许组播（可能是交换机策略设置），又要使用keepalived，那么开启单播。

使用单播模式，即使网络环境内有相同的virtual_router_id，也没有关系。
默认是抢占式，组播的 方式 ，当master down 时，backup 会接管vip 地址。

组播的缺点： keepalived在组播模式下所有的信息都会向2240018的组播地址发送，产生众多的无用信息，并且会产生干扰和冲突，所以需要将其组播的模式改为单拨。这是一种安全的方法，避免局域网内有大量的keepalived造成虚拟路由id的冲突。单播模式需要关闭vrrp_strict，严格遵守vrrp协议这个选项。
抢占式的缺点：会因为网络抖动，vip频繁飘移， 造成不必要的切换，推荐使用非抢占式。
(1) 主设备、 从设备中的 state 都设置为 BACKUP

(3) 默认主设备（priority 值大的 Keepalived 节点） 配置一定要加上 nopreempt，否则非抢占不起作用

(4) 防火墙配置允许组播（主、备两台设备上都需要配置， keepalived 使用 2240018 作为 Master 和Backup 健康检查的通信 IP）
分别在两台机查看当前服务器是否拥有虚拟IP，如果两台服务器都拥有，则说明发生了脑裂，证明目前双机通信出现问题，产生此问题的原有在于 两台服务器都探测不到组内其他服务器的状态 （心跳请求无法正常响应），最后启来的keepalived私自判定另一台先启来的keepalived服务器挂起，则抢占虚拟IP， 脑裂的出现是不被允许的 。

造成脑裂的原因 ：通过查看VRRP通信原理发现VRRP基于报文实现的。master设置（ advert_int 1  ）一定时间发送一个报文给backup。如果backup没有收到就自己成为master。可推出导致问题的原因是因为backup没有收到报文，所以自己成为了master。

VRRP控制报文只有一种：VRRP通告(advertisement)。它使用 IP多播数据包 进行 封装 ，组地址为 2240018 ， 发布范围只限于同一局域网内 。这保证了VRID在不同网络中可以重复使用。为了 减少网络带宽 消耗只有 主控路由器 才可以 周期性 的发送 VRRP通告报文 。 备份路由器 在连续 三个通告间隔内收不到VRRP 或收到 优先级为0的通告 后 启动新的一轮VRRP选举 。
# cat /etc/keepalived/keepalivedconf

####################################################################

! Configuration File for keepalived

global_defs {

  router_id keepalived

}

vrrp_script chk_nginx {

  script "/etc/keepalived/check_nginxsh"

  interval 2

  fall 1

  rise 1

}

vrrp_instance nginx {

    state BACKUP

    interface ens33

    virtual_router_id 51

    priority 100

    advert_int 1

    nopreempt

    authentication {

        auth_type PASS

        auth_pass 11111

    }

    unicast_src_ip  1921681104

    unicast_peer {

                    1921681106

    }

    virtual_ipaddress {

      1921681120/24

    }

    track_script {

          chk_nginx

    }

}

####################################################################
# cat /etc/keepalived/keepalivedconf

#############################################################

! Configuration File for keepalived

global_defs {

  router_id keepalived

}

vrrp_script chk_nginx {

  script "/etc/keepalived/check_nginxsh"

  interval 2

  fall 1

  rise 1

}

vrrp_instance nginx {

    state BACKUP

    interface ens33

    virtual_router_id 51

    priority 90

    advert_int 1

    nopreempt

    authentication {

        auth_type PASS

        auth_pass 11111

    }

    unicast_src_ip  1921681106

    unicast_peer {

                    1921681104

    }

    virtual_ipaddress {

      1921681120/24

    }

    track_script {

          chk_nginx

    }

}

#############################################################
# cat /etc/keepalived/check_nginxsh

##########################################

#!/bin/bash

if ! ps -C nginx --no-header > /dev/null 2>&1; then

  systemctl start nginx

  sleep 1

if ! ps -C nginx --no-header > /dev/null 2>&1; then

    exit 1

  fi

fi

##########################################
keepalived详细配置说明

>