keepalived简介
首先简单介绍一下VRRP协议(虚拟路由器冗余协议)。VRRP是一种容错协议,它可以将一组路由器组织成一个虚拟路由器,这个虚拟路由器仅适用一个IP地址,这个IP地址配置在其中的一台路由器上,这个路由器即为主路由器(MASTER),其余的为备用路由器(BACKUP)。如果这个路由器组内的MASTER路由器出现故障了,BACKUP路由器将会通过选举策略选出一个新的MASTER路由器继续向外提供服务。这样就保证了网络之间的通信不会中断。
keepalived即采用了VRRP协议实现服务器的高可用,在每个节点上运行keepalived进程,每个keepalived进程能够通过VRRP协议相互通信(通告优先级,选举主节点,配置IP地址.......),当主服务器出现故障,备用服务器可自动代替主服务器继续提供服务。相对于Corosync+Pacemaker,keepalived更加轻量级,当然它的适用场景也有限,一般仅对LVS和反向代理服务器做高可用。
keepalived组件介绍
keepalived结构图:
Netlink reflector:监控网络接口
IPVS wrapper:为ipvs生成规则,并监控ipvs指向的各real server的健康状况(借助checkers完成)
VRRP Stack:vrrp的具体实现
Checkers:监控ipvs指向的各real server的健康状况
其中VRRP Stack和Checkers为核心组件,为了避免其中的任意组建出现故障而导致keepalived服务无法正常工作,由watchdog监控这两个内部进程的正常运行。
LVS的高可用-主备模型
在使用keepalived对LVS实现高可用时,除了高可用的功能外,还可以为前端的Director生成ipvs规则,并对后端的Real Server的健康状况进行监控。LVS的模型为DR模型,前端两个Director,一主一备,就一个VRRP示例。
实验环境:
时间服务器,控制节点:192.168.1.102
2台Director(node1,node2):
node1:192.168.1.126
node2:192.168.1.127
VIP:192.168.1.200
Real Server1:192.168.1.124
Real Server2:192.168.1.125
首先利用ansible的playbook完成高可用集群的实现前提:时间同步,基于主机名相互通信。
[root@www ansible]# vim /etc/ansible/hosts [lvs] 192.168.1.126 #LVS的节点1(node1) 192.168.1.127 #LVS的节点2(node2) [web] 192.168.1.124 #Real Server1 192.168.1.125 #Real Server2
对应role的目录结构:
[root@www common]# tree . ├── files │ ├── hosts │ └── ntp.conf └── tasks └── main.yml
hosts文件配置各节点能够基于主机名相互通信:
[root@www common]# vim files/hosts 192.168.1.126 node1.xiaoxiao.com node1 192.168.1.127 node2.xiaoxiao.com node2
ntp.conf为ntpd服务的配置文件,在其中指定上级时间服务器的地址:
[root@www common]# vim files/ntp.conf ...... server 192.168.1.102 ......
将hosts文件和ntp.conf复制到各节点,并启动ntpd服务。
[root@www ansible]# vim roles/common/tasks/main.yml - name: hosts file copy: src=hosts dest=/etc/hosts - name: sync time copy: src=ntp.conf dest=/etc/ntp.conf - name: start ntpd service: name=ntpd state=started enabled=no
编辑ha.yml,调用对应的role:
[root@www ansible]# vim ha.yml - name: config remote_user: root hosts: lvs roles: - common ###################################### [root@www ansible]# ansible-playbook ha.yml
在base源中就有keepalived,利用yum直接下载即可(RedHat6.4之后)
[root@www ansible]# ansible lvs -m yum -a 'name=keepalived state=present'
编辑配置文件/etc/keepalived.conf(node1上)
! Configuration File for keepalived global_defs { notification_email { root@localhost #当有通知信息时发送邮件至root@localhost } notification_email_from root@xiaoxiao.com smtp_server 127.0.0.1 #指定邮件服务器 smtp_connect_timeout 3 } vrrp_instance VI_1 { #定义VRRP实例,VI_1为实例名称 state MASTER #这个VRRP实例中,本服务器的角色,MASTER为主节点,BACKUP为备节点 interface eth0 #服务检测的接口 virtual_router_id 2 #路由标识,同一个实例,路由标识相同 priority 100 #优先级,数字越大优先级越高 advert_int 1 #一个VRRP实例中各节点之间同步的时间间隔 authentication { auth_type PASS #认证方式 auth_pass *********** #认证密码 } virtual_ipaddress { 192.168.1.200 #定义虚拟ip地址,这里也就是VIP } } virtual_server 192.168.1.200 80 { #虚拟服务器 delay_loop 3 #对后端Real Server轮询的时间间隔 lb_algo rr #负载均衡的调度算法 lb_kind DR #LVS的模型 nat_mask 255.255.255.0 #子网掩码 persistence_timeout 20 #连接的持久时长 protocol TCP #转发使用的协议 sorry_server 127.0.0.1 80 #当Real Server全部停止工作时,请求调度至本机的80端口 real_server 192.168.1.124 80 { #定义Real Server weight 1 #设置权重 HTTP_GET { #keepalived检查该Real Server时使用的方式 url { path / #检测健康状况时获取的页面(默认页面) status_code 200 #期望的返回状态码 } connect_timeout 2 #连接超时时长 nb_get_retry 3 #连接超时后的重试次数 delay_before_retry 1 #重试间隔 } } real_server 192.168.1.125 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 2 nb_get_retry 3 delay_before_retry 1 } } }
将配置文件复制到第2个节点并作相应的修改,注意VRRP实例中state,virtual_route_id,priority和认证信息的配置。
vrrp_instance VI_1 { state BACKUP #此节点为备用节点 interface eth0 virtual_router_id 2 #同一个VRRP实例中路由标识必须相同 priority 90 #权重要低于MASTER节点 advert_int 1 authentication { #认证信息必须相同 auth_type PASS auth_pass *********** } ......... }
在各Real Server上对arp请求和arp通告做相应的配置,并在lo接口上添加VIP(192.168.1.200)。在控制主机上配置如下脚本,并利用ansible在各Real Server上完成执行。
[root@www ansible]# vim realServer_conf echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce ip addr add 192.168.1.200/32 label lo:0 brd 192.168.1.200 dev lo ip route add 192.168.1.200 dev lo:0 ######################################### [root@www ansible]# ansible web -m script -a 'realServer_conf'
最后在real server上配置好html页面,然后启动httpd服务。在个LVS节点上启动keepalived服务。
[root@www ansible]# ansible web -m shell -a 'service httpd start' [root@www ansible]# ansible lvs -m shell -a 'service keepalived start'
主节点上VIP已经生成,且LVS的各节点上的ipvs规则已启用。访问测试,能够实现轮询调度。
.................^_^
LVS的高可用-双主模型
在主备模型中,如果主节点没有发生故障,则备用节点一直处于空闲状态,而在高并发的状态下,主节点又很有可能成为系统性能的瓶颈。这时候,可以将备用节点也利用起来,这就是双主模型,在双主模型中,LVS的两个节点上运行两个VRRP实例,其中一个VRRP实例使用IP1(192.168.1.200),且在这个实例中node1为主节点,node2为备用节点,另一个VRRP实例使用IP2(192.168.1.100),这个实例中node1为备用节点,node2为主节点,两个节点都将请求调度至后方的Real Server1和2。其中一个节点故障时,其上的IP地址和对应的ipvs规则转移至另一个节点上,则另一个节点上有两个VIP和两个集群服务。双主模型下,需要两个IP地址,利用DNS服务器在解析时轮询返回这两个IP地址,使用户的请求分散到这两个节点上。这样有效地利用了资源,也提升了服务器的性能。
实验环境:
时间服务器:192.168.1.102
2台Director(node1,node2):
node1:192.168.1.126
node2:192.168.1.127
VIP1:192.168.1.200
VIP2:192.168.1.100
Real Server1:192.168.1.124
Real Server2:192.168.1.125
同前一个案例一样,各节点首先完成时间同步,能够基于主机名相互通信,安装keepalived。
编辑配置文件/etc/keepalived.conf(node1上):
......... ......... vrrp_instance VI_1 { state MASTER interface eth0 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 123456 } virtual_ipaddress { 192.168.1.200 } } vrrp_instance VI_2 { #定义第二个VRRP实例 state BACKUP interface eth0 virtual_router_id 52 #路由标识不同于上一个实例 priority 90 advert_int 1 authentication { auth_type PASS auth_pass abcdef } virtual_ipaddress { 192.168.1.100 } } virtual_server 192.168.1.200 80 { #两个集群服务除了VIP不一样其他的都一样 delay_loop 3 lb_algo rr lb_kind DR nat_mask 255.255.255.0 persistence_timeout 20 protocol TCP sorry_server 127.0.0.1 80 real_server 192.168.1.124 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 2 nb_get_retry 3 delay_before_retry 1 } } real_server 192.168.1.125 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 2 nb_get_retry 3 delay_before_retry 1 } } } virtual_server 192.168.1.100 80 { delay_loop 3 lb_algo rr lb_kind DR nat_mask 255.255.255.0 persistence_timeout 20 protocol TCP sorry_server 127.0.0.1 80 real_server 192.168.1.124 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 2 nb_get_retry 3 delay_before_retry 1 } } real_server 192.168.1.125 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 2 nb_get_retry 3 delay_before_retry 1 } } }
将配置文件同步至node2上做响应的修改:
vrrp_instance VI_1 { state BACKUP virtual_router_id 51 priority 90 ............. } vrrp_instance VI_2 { state MASTER virtual_router_id 52 priority 100 ............... }
由于前段的LVS节点上有两个VIP所以后端的Real Server上两个VIP都需要添加。
[root@www ansible]# vim realServer_conf echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce ip addr add 192.168.1.200/32 label lo:0 brd 192.168.1.200 dev lo ip route add 192.168.1.200 dev lo:0 ip addr add 192.168.1.100/32 label lo:1 brd 192.168.1.100 dev lo ip route add 192.168.1.100 dev lo:1 ################################################# [root@www ansible]# ansible lvs -m shell -a 'service keepalived restart'
然后在各节点上启动httpd和keepalive服务。
node1上:
node2上:
两个节点上集群服务:
可以看到node1和node2上各自的VIP已经启用,且两节点都为主节点。
现在在node1上停止keepalived服务:
[root@node1 keepalived]# service keepalived stop Stopping keepalived: [ OK ]
对应的VIP已转移至node2上。
现在停止其中一台Real Server上的httpd服务。
[root@node1 ~]# service httpd stop Stopping httpd: [ OK ]
集群服务上显示仅有192.168.1.125一台Real Server。若停止所有的Real Server。则请求会按照配置文件中的定义,调度至本地的80端口。
测试完成!!!.................^_^
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)