大厂技术 大亨经验分享Linux源码安装RabbitMQ高可用集群

yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel gtk2-devel binutils-devel unixODBC unixODBC-devel xz

#上传otp_src_24.0.tar.gz rabbitmq-server-generic-unix-3.9.13.tar.xz 到指定路径（这里我上传到/lee）

#解压安装包

[root@lee lee]# tar -zxvf otp_src_24.0.tar.gz

[root@lee lee]# ll

total 111200

drwxr-xr-x 12 2004 wheel      4096 May 12  2021 otp_src_24.0

-rw-r--r--  1 root root  101193664 Mar 21 09:45 otp_src_24.0.tar.gz

-rw-r--r--  1 root root   12660820 Mar 21 09:45 rabbitmq-server-generic-unix-3.9.13.tar.xz

1

2

3

4

5

6

7

8

9

10

11

12

#创建erlang安装目录

[root@lee lee]# mkdir -p /lee/erlang

#进入otp_src_24.0目录

[root@lee lee]# cd otp_src_24.0

[root@lee otp_src_24.0]# ./configure prefix=/lee/erlang

[root@lee otp_src_24.0]# make && make install

#安装完成后安装路径下的目录如下

[root@lee otp_src_24.0]# cd ../erlang/

[root@lee erlang]# ll

total 8

drwxr-xr-x 2 root root 4096 Mar 21 11:03 bin

drwxr-xr-x 3 root root 4096 Mar 21 11:02 lib

1

2

3

4

5

6

7

8

9

10

11

12

# 将erlang安装路径/bin 添加到 /ect/profile 末尾

[root@lee erlang]# vi /etc/profile

[root@lee erlang]# source /etc/profile

# 验证是否安装成功，执行erl 结果如下表示正常

[root@lee erlang]# erl

Erlang/OTP 24 [erts-12.0] [source] [64-bit] [smp:2:2] [ds:2:2:10] [async-threads:1]

Eshell V12.0  (abort with ^G)

1>

# 执行 halt(). 退出控制台

1> halt().

[root@lee erlang]#

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

# 解压 rabbitmq-server-generic-unix-3.9.13.tar.xz

[root@lee lee]# xz -d rabbitmq-server-generic-unix-3.9.13.tar.xz

[root@lee lee]# tar -xvf rabbitmq-server-generic-unix-3.9.13.tar

[root@lee lee]# mv rabbitmq_server-3.9.13/ rabbitmq

# 配置 RabbitMQ 环境变量

# 将 export PATH=$PATH:/lee/rabbitmq/bin:/lee/rabbitmq/sbin 添加到 /etc/profile 末尾

[root@lee lee]# vi /etc/profile

[root@lee lee]# source /etc/profile

# 后台启动 RabbitMQ

[root@lee lee]# rabbitmq-server -detached

# 查看端口 5672 存在表示启动成功

[root@lee lee]# ss -tnlp|grep 5672

LISTEN     0      128          *:25672                    *:*                   users:(("beam.smp",pid=8418,fd=17))

LISTEN     0      128       [::]:5672                  [::]:*                   users:(("beam.smp",pid=8418,fd=32))

# 添加rabbitmq浏览器管理插件

[root@lee lee]# rabbitmq-plugins enable rabbitmq_management

# RabbitMQ有默认用户名密码 guest/guest，该用户名密码只能在本地登陆

# 如若在浏览器中登陆，须新创建用户名密码

# 添加用户名密码

[root@lee lee]# rabbitmqctl add_user rabbitmq_user rabbitmq_pwd

# 检查用户列表

[root@lee lee]# rabbitmqctl list_users

Listing users ...

user    tags

guest   [administrator]

rabbitmq_user   []

# 为 rabbitmq_user 用户添加administrator角色

[root@lee lee]# rabbitmqctl set_user_tags rabbitmq_user administrator

Setting tags for user "rabbitmq_user" to [administrator] ...

# 设置 rabbitmq_user 用户权限，允许访问vhost及read/write

[root@lee lee]# rabbitmqctl set_permissions -p / rabbitmq_user ".*" ".*" ".*"

Setting permissions for user "rabbitmq_user" in vhost "/" ...

# 检查权限列表

[root@lee lee]# rabbitmqctl list_permissions -p /

Listing permissions for vhost "/" ...

user    configure   write   read

guest   .*  .*  .*

rabbitmq_user   .*  .*  .*

# 启动消息队列服务

[root@lee lee]# rabbitmqctl start_app

Starting node rabbit@lee ...

# 验证15672端口存在表示消息队列服务启动成功

[root@lee lee]# ss -tnlp | grep 15672


LISTEN     0      128         *:15672         *:*             users:(("beam.smp",pid=8418,fd=35))

vi /etc/hosts

# 添加如下内容

192.168.0.1 node1

192.168.0.2 node2

192.168.0.3 node3

1

2

3

4

5

6

# 将 node1上 /root/.erlang.cookie 拷贝到node2上

scp /root/.erlang.cookie node2:/root/.erlang.cookie

# 将 node1上 /root/.erlang.cookie 拷贝到node2上

scp /root/.erlang.cookie node3:/root/.erlang.cookie

# 分别在三个节点上查看该文件内容是否相同

more /root/.erlang.cookie

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

#在node2节点执行

#关闭应用

rabbitmqctl stop_app

#将node2加入集群中

rabbitmqctl join_cluster ‐‐ram rabbit@node2

#启动应用

rabbitmqctl start_app

#在node3节点执行

#关闭应用

rabbitmqctl stop_app

#将node3加入集群中

rabbitmqctl join_cluster ‐‐ram rabbit@node3

#启动应用

rabbitmqctl start_app

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

# 在任一节点执行如下命令验证集群是否配置成功

rabbitmqctl cluster_status

#出现如下内容表示成功

Disk Nodes

rabbit@node1

rabbit@node2

rabbit@node3

Running Nodes

rabbit@node1

rabbit@node2

rabbit@node3

1

2

3

4

5

#同步 virtual host 为 "/"下名称前缀为 "mirroring"的交换机和队列，并且自动保存到两个节点上

rabbitmqctl set_policy -p / --priority 1 --apply-to all myPolicy "^mirroring" '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'

# policy配置格式

rabbitmqctl set_policy [-p ] [--priority ] [--apply-to ]  

 ha-mode:指明镜像队列的模式，有效值为 all、exactly、nodes

　　　　　all：表示在集群中所有的节点上进行镜像 
　　　　　exactly：表示在指定个数的节点上进行镜像，节点的个数由ha-params指定 
        　　nodes：表示在指定的节点上进行镜像，节点名称通过ha-params指定

 ha-sync-mode：进行队列中消息的同步方式，有效值为automatic和manual

　　manual：手动<默认模式>.新的队列镜像将不会收到现有的消息，它只会接收新的消息，除非显式调用同步命令

　　automatic：自动同步，新加入节点时会默认同步已知的镜像队列

命令 rabbitmqctl sync_queue 队列名，手动同步队列
命令 rabbitmqctl cancel_sync_queue 队列名 取消某个queue的同步

1

2

3

4

5

6

7

# 在退出的节点上执行

rabbitmqctl stop_app

rabbitmqctl reset

rabbitmqctl start_app

# 在主节点上执行（如去除node2），offline参数代表允许离线删除

rabbitmqctl forget_cluster_node node2 [--offline]

1

2

3

4

5

6

7

8

9

# 上传 haproxy-2.5.5.tar.gz 并解压(此次上传到/usr/local)

tar -zxvf haproxy-2.5.5.tar.gz

mv haproxy-2.5.5.tar.gz haproxy

cd haproxy

#编译并指定安装目录

make TARGET=linux-glibc ARCH=x86_64 PREFIX=/usr/local/haproxy

# 安装

make install PREFIX=/usr/local/haproxy

1

2

3

4

5

6

vi /etc/profile

# 将如下内容导入该文件中

    export HAPROXY_HOME=/usr/local/haproxy   #安装路径

    export PATH=$PATH:$HAPROXY_HOME/sbin

# 生效

source /etc/profile

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

#添加haproxy组

groupadd haproxy

#创建nginx运行账户haproxy并加入到haproxy组，不允许haproxy用户直接登录系统

useradd -g haproxy haproxy -s /bin/false

#创建haproxy错误日志目录

mkdir -p /usr/local/haproxy/errors

cp -r /usr/local/haproxy/examples/errorfiles/* /usr/local/haproxy/errors/

#创建日志文件

mkdir -p /usr/local/haproxy/logs

touch /usr/local/haproxy/logs/haproxy.log

#创建haproxy配置文件

mkdir -p /usr/local/haproxy/conf

touch /usr/local/haproxy/conf/haproxy.cfg

touch /usr/local/haproxy/stats

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

#‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐

# Global settings

#‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐

global

  log 127.0.0.1 local2

  chroot /usr/local/haproxy 

  #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件

  pidfile /var/run/haproxy.pid

  maxconn 4000

  user haproxy

  group haproxy

  daemon 

  #需要创建该文件

  stats socket /usr/local/haproxy/stats

defaults

  mode http

  #采用全局定义的日志

  log global 

  #日志类别http日志格式

  option httplog

  #不记录健康检查的日志信息

  option dontlognull

  #每次请求完毕后主动关闭http通道

  option http-server-close

  option forwardfor except 127.0.0.0/8

  #serverId对应的服务器挂掉后,强制定向到其他健康的服务器

  option redispatch

  ##3次连接失败就认为服务不可用，也可以通过后面设置

  retries 3

  timeout http-request 10s

  timeout queue 1m

  #default 10 second timeout if a backend is not found

  timeout connect 10s

  #客户端连接超时

  timeout client 1m

  #服务器连接超时

  timeout server 1m

  timeout http-keep-alive 10s

  timeout check 10s

  #最大连接数

  maxconn 3000

#开启haproxy监控服务

listen rabbitmq_cluster

  #通过6672对节点进行映射(自定义)

  bind 0.0.0.0:6672

  #记录tcp连接的状态和时间

  option tcplog

  #四层协议代理,即对TCP协议转发

  mode tcp

  #开启TCP的Keep Alive(长连接模式)

  option clitcpka

  #haproxy与mq建立连接的超时时间

  timeout connect 1s

  #客户端与haproxy最大空闲时间

  timeout client 10s

  #服务器与haproxy最大空闲时间

  timeout server 10s

  #采用轮询转发消息

  balance roundrobin

  #每5秒发送一次心跳包,如连续两次有响应则代表状态良好

  #如连续三次没有响应,则视为服务故障,该节点将被剔除。


  server node1 节点1 ip地址:5672 check inter 5s rise 2 fall 3

  server node2 节点2 ip地址:5672 check inter 5s rise 2 fall 3

listen http_front

  #监听端口-页面访问的端口(自定义)

  bind 0.0.0.0:6001

  #统计页面自动刷新时间stats refresh 30s

  stats refresh 30s

  #统计页面url  (页面访问的uri,即浏览器通过 ip:6001/haproxy_stats 访问)

  stats uri /haproxy_stats

  # 指定Haproxy访问用户名密码

  stats auth haproxy_admin:haproxy_pwd

  ########设置haproxy 错误页面#####

  errorfile 403 /usr/local/haproxy/errors/403.http

  errorfile 500 /usr/local/haproxy/errors/500.http

  errorfile 502 /usr/local/haproxy/errors/502.http

  errorfile 503 /usr/local/haproxy/errors/503.http

  errorfile 504 /usr/local/haproxy/errors/504.http

vi /etc/rsyslog.conf

    #打开以下两行注解，开启 514 USP监听

    $ModLoad imudp

    $UDPServerRun 514

    #添加日志目录 (local2 与haproxy.cfg中global log保持一致)

    local2.*   /usr/local/haproxy/haproxy.log

vi /etc/sysconfig/rsyslog

    #修改如下内容（若没有则添加）

    SYSLOGD_OPTIONS="-r -m 0 -c 2"

#重启生效

service rsyslog restart

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

# 检查配置文件语法

haproxy -c -f /usr/local/haproxy/haproxy.cfg

# 启动

haproxy -f /usr/local/haproxy/haproxy.cfg

# 以daemon模式启动，以systemd管理的daemon模式启动

haproxy -D -f /usr/local/haproxy/haproxy.cfg

haproxy -Ds -f /usr/local/haproxy/haproxy.cfg

# 启动调试功能，将显示所有连接和处理信息在屏幕

haproxy -d -f /usr/local/haproxy/haproxy.cfg

# 重启 需要使用st选项指定pid列表

haproxy -f /usr/local/haproxy.cfg -st `cat /var/run/haproxy.pid`

# graceful restart，即reload。


需要使用sf选项指定pid列表

haproxy -f /usr/local/haproxy.cfg -sf `cat /var/run/haproxy.pid`

# 显示haproxy编译和启动信息

haproxy -vv

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

# 安装依赖

yum install -y gcc openssl-devel popt-devel ipvsadm libnl3-devel net-snmp-devel libnl libnl-devel libnfnetlink-devel

# 上传安装包到 /usr/local 并解压

tar -zxvf keepalived-2.2.4

# 创建安装目录

mkdir /usr/local/keepalived

# 编译

cd keepalived-2.2.4

./configure --prefix=/usr/local/keepalived

# 安装

make && make install

# 创建keepalived配置文件目录 keepalived默认会读取 /etc/keepalived/keepalived.conf

madir keepalived.conf

cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

cp /usr/local/keepalived-2.2.4/keepalived/etc/init.d/keepalived /etc/init.d/

cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig

cp /usr/local/keepalived/sbin/keepalived /usr/sbin/

# 创建关闭keepalived的脚本

vi /etc/keepalived/stop_keepalived

   # 脚本内容 监听haproxy端口 6001

   #! /bin/bash

    counter=$(ss -tanlp | grep "LISTEN" | grep "6001"|wc -l)

    if [ "${counter}" -eq 0 ]

    then

       pkill keepalived

    fi

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

! Configuration File for keepalived

global_defs {

   script_user root

   enable_script_security

   router_id node1

   vrrp_skip_check_adv_addr

#   vrrp_strict

   vrrp_garp_interval 0

   vrrp_gna_interval 0

}

vrrp_instance VI_1 {

    #keepalived角色，MASTER表示主节点 BACKUP从节点

    state MASTER

    #指定检测的网卡

    interface eth0

    #虚拟路由的id，主备节点设置相同

    virtual_router_id 60

    #优先级，主节点的优先级需要设置的比从节点高

    priority 90

    #设置主备之间的检查时间，单位s

    advert_int 1

    #定义验证类型和密码

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    # 另一个节点的ip

    unicast_peer {

        192.168.0.2

    }

    #虚拟ip

    virtual_ipaddress {

        192.168.0.45

    }

}

virtual_server 192.168.0.45 6001 {

    virtual_server

    delay_loop 6

    lb_algo rr

    lb_kind NAT

    persistence_timeout 50

    protocol TCP

    real_server 192.168.0.1 6001 {

        weight 1

    # 监控脚本

        notify_down /etc/keepalived/stop_keepalived.sh

        TCP_CHECK {

          connect_timeout 10

          retry 3

          connect_port 6001

        }

    }

}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

! Configuration File for keepalived

global_defs {

   script_user root

   enable_script_security

   router_id node2

   vrrp_skip_check_adv_addr

#   vrrp_strict

   vrrp_garp_interval 0

   vrrp_gna_interval 0

}

vrrp_instance VI_1 {

    #keepalived角色，MASTER表示主节点 BACKUP从节点

    state MASTER

    #指定检测的网卡

    interface eth0

    #虚拟路由的id，主备节点设置相同

    virtual_router_id 60

    #优先级，主节点的优先级需要设置的比从节点高

    priority 90

    #设置主备之间的检查时间，单位s

    advert_int 1

    #定义验证类型和密码

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    # 另一个节点的ip

    unicast_peer {

        192.168.0.1

    }

    #虚拟ip

    virtual_ipaddress {

        192.168.0.45

    }

}

virtual_server 192.168.0.45 6001 {

    virtual_server

    delay_loop 6

    lb_algo rr

    lb_kind NAT

    persistence_timeout 50

    protocol TCP

    real_server 192.168.0.2 6001 {

        weight 1

    # 监控脚本

        notify_down /etc/keepalived/stop_keepalived.sh

        TCP_CHECK {

          connect_timeout 10

          retry 3

          connect_port 6001

        }

    }

}