为实现高可用高性能

为实现高可用高性能,第1张

基于keepalived实现LVS的高可用

keepalived简介

首先简单介绍一下VRRP协议(虚拟路由器冗余协议)。VRRP是一种容错协议,它可以将一组路由器组织成一个虚拟路由器,这个虚拟路由器仅适用一个IP地址,这个IP地址配置在其中的一台路由器上,这个路由器即为主路由器(MASTER),其余的为备用路由器(BACKUP)。如果这个路由器组内的MASTER路由器出现故障了,BACKUP路由器将会通过选举策略选出一个新的MASTER路由器继续向外提供服务。这样就保证了网络之间的通信不会中断。

keepalived即采用了VRRP协议实现服务器的高可用,在每个节点上运行keepalived进程,每个keepalived进程能够通过VRRP协议相互通信(通告优先级,选举主节点,配置IP地址.......),当主服务器出现故障,备用服务器可自动代替主服务器继续提供服务。相对于Corosync+Pacemaker,keepalived更加轻量级,当然它的适用场景也有限,一般仅对LVS和反向代理服务器做高可用。


keepalived组件介绍

keepalived结构图:


Netlink reflector:监控网络接口

IPVS wrapper:为ipvs生成规则,并监控ipvs指向的各real server的健康状况(借助checkers完成)

VRRP Stack:vrrp的具体实现

Checkers:监控ipvs指向的各real server的健康状况

其中VRRP Stack和Checkers为核心组件,为了避免其中的任意组建出现故障而导致keepalived服务无法正常工作,由watchdog监控这两个内部进程的正常运行。


LVS的高可用-主备模型

在使用keepalived对LVS实现高可用时,除了高可用的功能外,还可以为前端的Director生成ipvs规则,并对后端的Real Server的健康状况进行监控。LVS的模型为DR模型,前端两个Director,一主一备,就一个VRRP示例。

实验环境:

时间服务器,控制节点:192.168.1.102

2台Director(node1,node2):

    node1:192.168.1.126

    node2:192.168.1.127

VIP:192.168.1.200

Real Server1:192.168.1.124

Real Server2:192.168.1.125


首先利用ansible的playbook完成高可用集群的实现前提:时间同步,基于主机名相互通信。

[root@www ansible]# vim /etc/ansible/hosts
[lvs]
192.168.1.126              #LVS的节点1(node1)
192.168.1.127              #LVS的节点2(node2)
 
[web]
192.168.1.124              #Real Server1
192.168.1.125              #Real Server2

对应role的目录结构:

[root@www common]# tree
.
├── files
│   ├── hosts
│   └── ntp.conf
└── tasks
    └── main.yml

hosts文件配置各节点能够基于主机名相互通信:

[root@www common]# vim files/hosts
192.168.1.126 node1.xiaoxiao.com node1
192.168.1.127 node2.xiaoxiao.com node2

ntp.conf为ntpd服务的配置文件,在其中指定上级时间服务器的地址:

[root@www common]# vim files/ntp.conf 
......
server 192.168.1.102
......

将hosts文件和ntp.conf复制到各节点,并启动ntpd服务。

[root@www ansible]# vim roles/common/tasks/main.yml 
- name: hosts file
  copy: src=hosts dest=/etc/hosts
- name: sync time
  copy: src=ntp.conf dest=/etc/ntp.conf
- name: start ntpd
  service: name=ntpd state=started enabled=no

编辑ha.yml,调用对应的role:

[root@www ansible]# vim ha.yml 
- name: config
  remote_user: root
  hosts: lvs
  roles:
  - common
  ######################################
[root@www ansible]# ansible-playbook ha.yml


在base源中就有keepalived,利用yum直接下载即可(RedHat6.4之后)

[root@www ansible]# ansible lvs -m yum -a 'name=keepalived state=present'

编辑配置文件/etc/keepalived.conf(node1上)

! Configuration File for keepalived
global_defs {
   notification_email {
     root@localhost             #当有通知信息时发送邮件至root@localhost
   }
   notification_email_from root@xiaoxiao.com
   smtp_server 127.0.0.1        #指定邮件服务器
   smtp_connect_timeout 3
}
 
vrrp_instance VI_1 {            #定义VRRP实例,VI_1为实例名称
    state MASTER                #这个VRRP实例中,本服务器的角色,MASTER为主节点,BACKUP为备节点
    interface eth0              #服务检测的接口
    virtual_router_id 2         #路由标识,同一个实例,路由标识相同
    priority 100                #优先级,数字越大优先级越高
    advert_int 1                #一个VRRP实例中各节点之间同步的时间间隔
    authentication {
        auth_type PASS          #认证方式
        auth_pass ***********   #认证密码
    }
    virtual_ipaddress {
        192.168.1.200          #定义虚拟ip地址,这里也就是VIP
    }
}
 
virtual_server 192.168.1.200 80 {      #虚拟服务器
    delay_loop 3                       #对后端Real Server轮询的时间间隔
    lb_algo rr                         #负载均衡的调度算法
    lb_kind DR                         #LVS的模型
    nat_mask 255.255.255.0             #子网掩码
    persistence_timeout 20             #连接的持久时长
    protocol TCP                       #转发使用的协议
    sorry_server 127.0.0.1 80          #当Real Server全部停止工作时,请求调度至本机的80端口
    real_server 192.168.1.124 80 {     #定义Real Server
        weight 1                       #设置权重
        HTTP_GET {                     #keepalived检查该Real Server时使用的方式
            url {
              path /                   #检测健康状况时获取的页面(默认页面)
              status_code 200          #期望的返回状态码
            }
            connect_timeout 2          #连接超时时长
            nb_get_retry 3             #连接超时后的重试次数
            delay_before_retry 1       #重试间隔
        }
    }
    real_server 192.168.1.125 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
}

将配置文件复制到第2个节点并作相应的修改,注意VRRP实例中state,virtual_route_id,priority和认证信息的配置。

vrrp_instance VI_1 {
    state BACKUP                #此节点为备用节点
    interface eth0
    virtual_router_id 2         #同一个VRRP实例中路由标识必须相同
    priority 90                #权重要低于MASTER节点
    advert_int 1
    authentication {              #认证信息必须相同
        auth_type PASS
        auth_pass ***********
    }
  .........
}

在各Real Server上对arp请求和arp通告做相应的配置,并在lo接口上添加VIP(192.168.1.200)。在控制主机上配置如下脚本,并利用ansible在各Real Server上完成执行。

[root@www ansible]# vim realServer_conf
echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
ip addr add 192.168.1.200/32 label lo:0 brd 192.168.1.200 dev lo
ip route add 192.168.1.200 dev lo:0
#########################################
[root@www ansible]# ansible web -m script -a 'realServer_conf'

最后在real server上配置好html页面,然后启动httpd服务。在个LVS节点上启动keepalived服务。

[root@www ansible]# ansible web -m shell -a 'service httpd start'
[root@www ansible]# ansible lvs -m shell -a 'service keepalived start'

主节点上VIP已经生成,且LVS的各节点上的ipvs规则已启用。访问测试,能够实现轮询调度。

.................^_^


LVS的高可用-双主模型

在主备模型中,如果主节点没有发生故障,则备用节点一直处于空闲状态,而在高并发的状态下,主节点又很有可能成为系统性能的瓶颈。这时候,可以将备用节点也利用起来,这就是双主模型,在双主模型中,LVS的两个节点上运行两个VRRP实例,其中一个VRRP实例使用IP1(192.168.1.200),且在这个实例中node1为主节点,node2为备用节点,另一个VRRP实例使用IP2(192.168.1.100),这个实例中node1为备用节点,node2为主节点,两个节点都将请求调度至后方的Real Server1和2。其中一个节点故障时,其上的IP地址和对应的ipvs规则转移至另一个节点上,则另一个节点上有两个VIP和两个集群服务。双主模型下,需要两个IP地址,利用DNS服务器在解析时轮询返回这两个IP地址,使用户的请求分散到这两个节点上。这样有效地利用了资源,也提升了服务器的性能。

实验环境:

时间服务器:192.168.1.102

2台Director(node1,node2):

    node1:192.168.1.126

    node2:192.168.1.127

VIP1:192.168.1.200

VIP2:192.168.1.100

Real Server1:192.168.1.124

Real Server2:192.168.1.125

同前一个案例一样,各节点首先完成时间同步,能够基于主机名相互通信,安装keepalived。

编辑配置文件/etc/keepalived.conf(node1上):

.........
.........
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456
    }
    virtual_ipaddress {
        192.168.1.200
    }
}

vrrp_instance VI_2 {                  #定义第二个VRRP实例
    state BACKUP
    interface eth0
    virtual_router_id 52                #路由标识不同于上一个实例
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass abcdef
    }
    virtual_ipaddress {
        192.168.1.100
    }
}

virtual_server 192.168.1.200 80 {       #两个集群服务除了VIP不一样其他的都一样
    delay_loop 3
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 20
    protocol TCP
    sorry_server 127.0.0.1 80
    real_server 192.168.1.124 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
    real_server 192.168.1.125 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
}

virtual_server 192.168.1.100 80 {
    delay_loop 3
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 20
    protocol TCP
    sorry_server 127.0.0.1 80
    real_server 192.168.1.124 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
    real_server 192.168.1.125 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
}

将配置文件同步至node2上做响应的修改:

vrrp_instance VI_1 {
    state BACKUP
    virtual_router_id 51
    priority 90
    .............
}

vrrp_instance VI_2 {
    state MASTER
    virtual_router_id 52
    priority 100
    ...............
}

由于前段的LVS节点上有两个VIP所以后端的Real Server上两个VIP都需要添加。

[root@www ansible]# vim realServer_conf 
echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
ip addr add 192.168.1.200/32 label lo:0 brd 192.168.1.200 dev lo
ip route add 192.168.1.200 dev lo:0
ip addr add 192.168.1.100/32 label lo:1 brd 192.168.1.100 dev lo
ip route add 192.168.1.100 dev lo:1
#################################################
[root@www ansible]# ansible lvs -m shell -a 'service keepalived restart'

然后在各节点上启动httpd和keepalive服务。

node1上:

node2上:

两个节点上集群服务:

可以看到node1和node2上各自的VIP已经启用,且两节点都为主节点。

现在在node1上停止keepalived服务:

[root@node1 keepalived]# service keepalived stop
Stopping keepalived:                                       [  OK  ]

对应的VIP已转移至node2上。

现在停止其中一台Real Server上的httpd服务。

[root@node1 ~]# service httpd stop
Stopping httpd:                                            [  OK  ]


集群服务上显示仅有192.168.1.125一台Real Server。若停止所有的Real Server。则请求会按照配置文件中的定义,调度至本地的80端口。


测试完成!!!.................^_^

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/780109.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-05-04
下一篇 2022-05-04

发表评论

登录后才能评论

评论列表(0条)

保存