如何在Ubuntu 16.04使用MySQL 5.6配置Galera Cluster

第1步 – 将Galera存储库添加到所有服务器

MySQL，修补包括Galera集群，不包括在默认的Ubuntu存储库，所以我们将开始通过添加由Galera项目维护的外部Ubuntu存储库到所有三个服务器。

注：Codership背后的公司Galera Cluster，维护该库，但并非所有的外部存储库是可靠的。确保只从可信来源安装。

首先，我们需要添加的存储库密钥apt-key命令，该命令的apt-get将用于验证该包是真实的。

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv 44B7345738EBDE52594DAD80D669017EBC19DDBA

一旦我们在每个服务器的数据库中拥有可信密钥，我们就可以添加存储库。我们需要运行apt-get update ，以包括封装在新的仓库后体现：

sudo add-apt-repository 'deb [arch=amd64,i386] http://releases.galeracluster.com/ubuntu/ xenial main'

sudo apt-get update

您可能会看到一个警告，签名uses weak digest algorithm (SHA1) 有GitHub上一个开放的问题，解决这个（https://github.com/codership/mysql-wsrep/issues/272）。在此期间，可以继续。

一旦在所有三个服务器上更新了存储库，我们就可以安装MySQL和Galera。

第2步 – 在所有服务器上安装MySQL和Galera

在所有三台服务器上运行以下命令安装一个版本的MySQL修补程序与Galera，以及Galera和几个依赖关系：

sudo apt-get install galera-3 galera-arbitrator-3 mysql-wsrep-5.6

在安装过程中，将要求您设置MySQL管理用户的密码。 无论您选择什么，一旦复制开始，此根密码将被第一个节点的密码覆盖。

我们应该拥有所有必要开始配置集群件，但由于我们将依托rsync在后面的步骤，让我们确保它安装在所有这三个，以及..

sudo apt-get install rsync

这将确认的最新版本rsync已经可用，或提示您升级或安装。

一旦我们在三个服务器的每一个上安装了MySQL，我们就可以开始配置。

第3步 – 配置第一个节点

集群中的每个节点都需要具有几乎相同的配置。 因此，我们将在我们的第一台机器上进行所有配置，然后将其复制到其他节点。

默认情况下，MySQL的配置检查/etc/mysql/conf.d目录从截至获取其他配置设置.cnf 。 我们将在此目录中创建一个具有所有特定于集群的指令的文件：

sudo nano /etc/mysql/conf.d/galera.cnf

将以下配置复制并粘贴到文件中。 您将需要更改以红色突出显示的设置。 我们将解释每个部分的含义如下。

/etc/mysql/conf.d/galera.cnf在第一个节点

[mysqld]

binlog_format=ROW

default-storage-engine=innodb

innodb_autoinc_lock_mode=2

bind-address=0.0.0.0

# Galera Provider Configuration

wsrep_on=ON

wsrep_provider=/usr/lib/galera/libgalera_smm.so

# Galera Cluster Configuration

wsrep_cluster_name="test_cluster"

wsrep_cluster_address="gcomm://first_ip,second_ip,third_ip"

# Galera Synchronization Configuration

wsrep_sst_method=rsync

# Galera Node Configuration

wsrep_node_address="this_node_ip"

wsrep_node_name="this_node_name"

第一部分修改或再声称MySQL的设置，将允许群集正常工作。 例如，Galera Cluster不会的MyISAM或类似的非事务性存储引擎工作， mysqld不能绑定到的IP地址本地主机。 您可以了解Galera Cluster上进行更详细的设置系统配置页面（http://galeracluster.com/documentation-webpages/configuration.html）。

在“加莱拉提供程序配置”部分配置，提供了一个写设置复制API MySQL的组件。 这意味着Galera在我们的情况下，因为Galera是一个wsrep（写集复制）提供程序。 我们指定常规参数以配置初始复制环境。 这不需要任何定制，但你可以了解更多有关加莱拉配置选项（http://www.codership.com/wiki/doku.php?id=galera_parameters）。

在“加莱拉群集配置”部分定义集群，确定通过IP地址或可解析域名，为群集创建一个名字集群成员保证成员加入正确的组。 您可以更改wsrep_cluster_name的东西比更有意义test_cluster或保留原样，但你必须更新wsrep_cluster_address与三个服务器的地址。 如果您的服务器具有专用IP地址，请在此处使用。

在“加莱拉同步配置”部分定义集群如何通信和同步成员之间的数据。 这仅用于在节点联机时发生的状态传输。 对于我们的初始设置，我们使用的是rsync ，因为它是常用的和做什么，我们需要现在。

在“加莱拉节点配置”部分明确了IP地址和当前服务器的名称。 这在尝试诊断日志中的问题以及以多种方式引用每个服务器时很有用。 该wsrep_node_address必须你在机器的地址相匹配，但你可以选择你，以帮助您识别在日志文件中的节点想要的任何名称。

当您对群集配置文件满意后，将内容复制到剪贴板中，保存并关闭文件。

接下来，/etc/mysql/my.cnf设置绑定地址为127.0.0.1。 这必须按顺序注释掉为我们在我们的galera.cnf`文件中正确设置它..

sudo nano /etc/mysql/my.cnf

/etc/mysql/my.cnf

. . .

# Instead of skip-networking the default is now to listen only on

# localhost which is more compatible and is not less secure.

# bind-address = 127.0.0.1

. . .

现在第一个服务器已配置，我们将继续到下两个节点。

第4步 – 配置剩余节点

在每个其余节点上，打开配置文件：

sudo nano /etc/mysql/conf.d/galera.cnf

粘贴到从第一个节点复制的配置中，然后更新“Galera节点配置”以使用您设置的特定节点的IP地址或可解析域名。 最后，更新其名称，您可以将其设置为任何帮助您标识日志文件中的节点：

/etc/mysql/conf.d/galera.cnf

. . .

# Galera Node Configuration

wsrep_node_address="this_node_ip"

wsrep_node_name="this_node_name"

. . .

保存并退出每个服务器上的文件。 我们需要注释掉这两个服务器上的绑定地址。

sudo nano /etc/mysql/my.cnf

/etc/mysql/my.cnf

. . .

# Instead of skip-networking the default is now to listen only on

# localhost which is more compatible and is not less secure.

# bind-address = 127.0.0.1

. . .

我们几乎准备好启动集群，但在我们做之前，我们将确保相应的端口已打开。

第5步 – 在每个服务器上打开防火墙

在每个服务器上，让我们检查防火墙的状态：

sudo ufw status

在这种情况下，只允许SSH通过：

OutputStatus: active

您可能有其他规则或没有防火墙规则。 由于在这种情况下只允许ssh流量，我们需要为MySQL和Galera流量添加规则。

Galera可以使用四个端口：

3306对于使用mysqldump方法的MySQL客户端连接和状态快照传输。

4567对于Galera群集复制流量，组播复制在此端口上同时使用UDP传输和TCP。

4568用于增量状态传输。

4444用于所有其他状态快照传输。

在我们的示例中，当我们进行设置时，我们将打开所有四个端口。 一旦我们确认复制正常，我们就要关闭我们实际上没有使用的任何端口，并将流量限制在集群中的服务器。

使用以下命令打开端口：

sudo ufw allow 3306,4567,4568,4444/tcp

sudo ufw allow 4567/udp

注：根据还有什么是你的服务器上运行，你可能想限制访问的时候了。

第6步 – 启动集群

首先，我们需要停止正在运行的MySQL服务，以便我们的集群可以联机。

在所有三个服务器上停止MySQL：

在所有三个服务器上使用以下命令停止mysql，以便我们可以在集群中将它们备份：

sudo systemctl stop mysql

systemctl不显示所有服务管理命令的结果，所以要确保我们成功了，我们将使用下面的命令：

sudo systemctl status mysql

如果最后一行看起来像下面这样，命令成功。

Output. . .

Sep 02 22:17:56 galera-02 systemd[1]: Stopped LSB: start and stop MySQL.

一旦我们关闭了mysql所有的服务器，我们就可以继续进行。

启动第一个节点：

我们已经配置了集群的方式，即上线尝试连接到其指定的至少一个其他节点的每个节点galera.cnf文件，以获取其初始状态。 一个正常的systemctl start mysql将失败，因为那里是与连接第一个节点上运行任何节点，所以我们需要将传递wsrep-new-cluster参数，我们开始第一个节点。 然而，无论是systemd也service将正确地接受--wsrep-new-cluster在这个时候的说法 ，所以我们需要使用启动脚本启动的第一个节点/etc/init.d 。 一旦你做到了这一点，你就可以开始与其他节点systemctl.

注意：如果你喜欢他们都与启动systemd ，一旦你有另一个节点，你可以杀死初始节点。由于第二个节点是可用的，当您重新启动第一个与sudo systemctl start mysql它将能够加入到正在运行的集群

sudo /etc/init.d/mysql start --wsrep-new-cluster

当这个脚本命令时，节点被注册为集群的一部分，我们可以使用以下命令查看它：

mysql -u root -p -e "SHOW STATUS LIKE 'wsrep_cluster_size'"

MMM高可用方案简介

MMM（Master-Master Replication Manager for MySQL）主主复制管理器，是一套提供了MySQL主主复制配置的监控、故障迁移和管理的可伸缩的脚本程序。在MMM高可用解决方案中，可以配置双主多从架构，通过MySQL Replication技术可以实现两台MySQL服务器互为主从，并且在任何时候只有一个节点可以写入，避免多节点写入的数据冲突，同时，当可写节点故障时，MMM套件可以立即监控到，然后将服务自动切换到另一个主节点继续提供服务，从而实现MySQL的高可用。

简而言之，通过MMM可以实现监控和管理MySQL主主复制和服务状态，同时也可以监控多个Slave节点的复制和运行状态，并且可以做到任意节点发生故障时实现自动切换的功能。MMM也为MySQL提供了读、写分离架构的良好平台。

MMM套件的优缺点

MMM集群套件具有良好的稳定性、高可用性和可扩展性。当活动的Master节点出现故障时，备用Master节点可以立即接管，而其他的Slave节点也能自动切换到备用Master节点继续进行同步复制，而无需人为干涉；MMM架构需要多个节点、多个IP，对服务器数量有要求，在读写非常繁忙的业务系统下表现不是很稳定，可能会出现复制延时、切换失效等问题。MMM方案并不太适应于对数据安全性要求很高，并且读、写繁忙的环境中。

MMM高可用套件工作原理

MMM套件主要的功能是通过以下三个脚本实现的：

1、mmm_mond：监控进程，运行在管理节点上，主要复制对所有数据库的监控工作，同时决定和处理所有节点的角色切换。

2、mmm_agentd：代理进程，运行在每一台MySQL服务器上，主要完成监控的测试工作和执行简单的远端服务设置。

3、mmm_control：一个简单的管理脚本，用来查看和管理集群运行状态，同时管理mmm_mond进程。

MMM高可用MySQL配置方案

在通过MMM套件实现的双Master架构中，需要5个IP地址，两个Master节点各有一个固定的物理IP，另外两个只读IP（reader IP）和一个可以IP（writer IP），这三个虚拟IP不会固定在任何一个节点上，相反，它会在两个Master节点之间来回切换（如何切换取决于节点的高可用）。在正常情况下Master1有两个虚拟IP（reader IP和writer IP），Master2有一个虚拟IP（reader IP），如果Master1故障，那么所有的reader和writer虚拟IP都会分配到Master上。

环境说明：

主机名IP地址集群角色MySQL版本系统版本

Master1192.168.1.210主Master可读、写mysql-5.6.28CentOS6.7

Master2192.168.1.211备Master可读、写mysql-5.6.28CentOS6.7

Slave1192.168.1.250Slave节点只读mysql-5.6.28CentOS6.7

Slave2192.168.1.209Slave节点只读mysql-5.6.28CentOS6.7

Monitor192.168.1.21MMM服务管理端mysql-5.6.28CentOS6.7

虚拟IP地址：

writer IP192.168.1.230写入VIP，仅支持单节点写入

reader IP192.168.1.231只读VIP，每个数据库节点一个读VIP，可以通过LVS、HAproxy等负载均衡软件对读VIP做负载均衡

reader IP192.168.1.232

reader IP192.168.1.233

reader IP192.168.1.234

MMM的安装和配置

Step1：MMM套件的安装

1、在MMM管理端monitor安装MMM所有套件

[root@monitor~]#rpm-ivhepel-release-6-8.noarch.rpm

[root@monitor~]#yuminstallmysql-mmmmysql-mmm-agentmysql-mmm-toolsmysql-mmm-monitor

2、在各个MySQL节点上安装mysql-mmm-agent服务

[root@master1~]#yuminstallmysql-mmm-agent

[root@master2~]#yuminstallmysql-mmm-agent

[root@slave1~]#yuminstallmysql-mmm-agent

[root@slave2~]#yuminstallmysql-mmm-agent

Step2：Master1和两个Slave上配置主从（这里需要提前做好配置，Master1和Master2主主配置也一样）

1、Master1上授权slave1、2的复制用户

[root@master1~]#mysql-uroot-ppasswd

mysql>grantreplicationslaveon*.*to'repl'@'192.168.1.250'identifiedby'replpasswd'

mysql>grantreplicationslaveon*.*to'repl'@'192.168.1.209'identifiedby'replpasswd'

mysql>flushprivileges

2、Slave1、2上设置指定Master1同步复制

[root@slave1~]#mysql-uroot-ppasswd

mysql>changemasterto

->master_host='192.168.1.210',

->master_user='repl',

->master_password='replpasswd',

->master_port=3306,

->master_log_file='mysql-bin.000034',

->master_log_pos=120

QueryOK,0rowsaffected,2warnings(0.06sec)

[root@slave2~]#mysql-uroot-ppasswd

mysql>changemasterto

->master_host='192.168.1.210',

->master_user='repl',

->master_password='replpasswd',

->master_port=3306,

->master_log_file='mysql-bin.000034',

->master_log_pos=120

QueryOK,0rowsaffected,2warnings(0.02sec)

Step3：在所有的MySQL节点的/etc/my.cnf中增加参数

read_only=1

Step4：在所有的MySQL节点添加以下两个用户

mysql>grant replication client on *.* to 'mmm_monitor'@'192.168.1.%' identified by 'monitorpasswd'mysql>grant super, replication client, process on *.* to 'mmm_agent'@'192.168.1.%' identified by 'agentpasswd'Step5：在MMM管理端monitor上配置mmm_common.conf

[root@monitor~]#ls/etc/mysql-mmm/mmm_agent.conf

mmm_common.conf#在所有的节点配置，配置相同

mmm_mon.conf#仅在MMM管理端配置

mmm_mon_log.conf

mmm_tools.conf

vim /etc/mysql-mmm/mmm_common.conf 所有的MMM节点配置相同

active_master_rolewriter

cluster_interfaceeth0

pid_path/var/run/mysql-mmm/mmm_agentd.pid

bin_path/usr/libexec/mysql-mmm/

replication_userreplication

replication_passwordreplication

agent_usermmm_agent

agent_passwordagentpasswd

ip192.168.1.210

modemaster

peerdb2

ip192.168.1.211

modemaster

peerdb1

ip192.168.1.209

modeslave

ip192.168.1.250

modeslave

hostsdb1,db2

ips192.168.1.230

modeexclusive

hostsdb1,db2,db3,db4

ips192.168.1.231,192.168.1.232,192.168.1.233,192.168.1.234

modebalanced

Step6：在MMM管理节点上配置mmm_mon.conf

[root@monitor ~]# vim /etc/mysql-mmm/mmm_mon.conf

includemmm_common.conf

ip127.0.0.1

pid_path/var/run/mysql-mmm/mmm_mond.pid

bin_path/usr/libexec/mysql-mmm

status_path/var/lib/mysql-mmm/mmm_mond.status

ping_ips192.168.1.1,192.168.1.2,192.168.1.210,192.168.1.211,192.168.1.209,192.168.1.

250

flap_duration3600

flap_count3

auto_set_online8

#Thekill_host_bindoesnotexistbydefault,thoughthemonitorwill

#throwawarningaboutitmissing.Seethesection5.10"KillHost

#Functionality"inthePDFdocumentation.

#

#kill_host_bin/usr/libexec/mysql-mmm/monitor/kill_host

#

monitor_usermmm_monitor

monitor_passwordmonitorpasswd

debug0

Step7：在所有的MySQL节点配置mmm_agent.conf

[root@master1mysql]#vim/etc/mysql-mmm/mmm_agent.conf

includemmm_common.conf

thisdb1#在四台mysql节点上设置对应的db，分别为db1、db2、db3、db4

Step8：所有节点设置ENABLED=1

cat/etc/default/mysql-mmm-agent

#mysql-mmm-agentdefaults

ENABLED=1

Step9：启动MMM服务

在MMM管理端启动服务

[root@monitor ~]# /etc/init.d/mysql-mmm-monitor startStarting MMM Monitor Daemon: [ OK ]

在每个mysql节点启动服务

[root@master1 ~]# /etc/init.d/mysql-mmm-agent startStarting MMM Agent Daemon: [ OK ]

查看集群运行状态

[root@monitormysql-mmm]#mmm_controlshow

db1(192.168.1.210)master/AWAITING_RECOVERY.Roles:

db2(192.168.1.211)master/AWAITING_RECOVERY.Roles:

db3(192.168.1.209)slave/AWAITING_RECOVERY.Roles:

db4(192.168.1.250)slave/AWAITING_RECOVERY.Roles:

若一直出现上面AWAITING_RECOVERY的状态，可以手动设置各个MySQL节点为online状态

[root@monitor~]#mmm_controlset_onlinedb1

OK:Stateof'db1'changedtoONLINE.Nowyoucanwaitsometimeandcheckitsnewroles!

[root@monitor~]#mmm_controlset_onlinedb2

OK:Stateof'db2'changedtoONLINE.Nowyoucanwaitsometimeandcheckitsnewroles!

[root@monitor~]#mmm_controlset_onlinedb3

OK:Stateof'db3'changedtoONLINE.Nowyoucanwaitsometimeandcheckitsnewroles!

[root@monitor~]#mmm_controlset_onlinedb4

OK:Stateof'db4'changedtoONLINE.Nowyoucanwaitsometimeandcheckitsnewroles!

[root@monitor~]#mmm_controlshow

db1(192.168.1.210)master/ONLINE.Roles:reader(192.168.1.234),writer(192.168.1.230)

db2(192.168.1.211)master/ONLINE.Roles:reader(192.168.1.231)

db3(192.168.1.209)slave/ONLINE.Roles:reader(192.168.1.232)

db4(192.168.1.250)slave/ONLINE.Roles:reader(192.168.1.233)

检测各个节点的运行状态

[root@monitor~]#mmm_controlchecksall

db4ping[lastchange:2016/02/2705:13:57]OK

db4mysql[lastchange:2016/02/2705:13:57]OK

db4rep_threads[lastchange:2016/02/2705:13:57]OK

db4rep_backlog[lastchange:2016/02/2705:13:57]OK:Backlogisnull

db2ping[lastchange:2016/02/2705:13:57]OK

db2mysql[lastchange:2016/02/2705:13:57]OK

db2rep_threads[lastchange:2016/02/2705:13:57]OK

db2rep_backlog[lastchange:2016/02/2705:13:57]OK:Backlogisnull

db3ping[lastchange:2016/02/2705:13:57]OK

db3mysql[lastchange:2016/02/2705:13:57]OK

db3rep_threads[lastchange:2016/02/2705:13:57]OK

db3rep_backlog[lastchange:2016/02/2705:13:57]OK:Backlogisnull

db1ping[lastchange:2016/02/2705:13:57]OK

db1mysql[lastchange:2016/02/2705:13:57]OK

db1rep_threads[lastchange:2016/02/2705:13:57]OK

db1rep_backlog[lastchange:2016/02/2705:13:57]OK:Backlogisnull

Step10：查看各节点虚拟IP分配情况

Master1

[root@master1~]#ipa|grepeth0

2:eth0:mtu1500qdiscpfifo_faststateUPqlen1000

inet192.168.1.210/24brd192.168.1.255scopeglobaleth0

inet192.168.1.234/32scopeglobaleth0

inet192.168.1.230/32scopeglobaleth0

Mster2

[root@master2~]#ipa|grepeth0

2:eth0:mtu1500qdiscpfifo_faststateUPqlen1000

inet192.168.1.211/24brd192.168.1.255scopeglobaleth0

inet192.168.1.231/32scopeglobaleth0

Slave1

[root@slave1~]#ipa|grepeth0

2:eth0:mtu1500qdiscpfifo_faststateUPqlen1000

inet192.168.1.250/24brd192.168.1.255scopeglobaleth0

inet192.168.1.213/32scopeglobaleth0

inet192.168.1.233/32scopeglobaleth0

Slave2

[root@slave2~]#ipa|grepeth0

2:eth0:mtu1500qdiscpfifo_faststateUPqlen1000

inet192.168.1.209/24brd192.168.1.255scopeglobaleth0

inet192.168.1.232/32scopeglobaleth0

Step11：测试MMM实现MySQL高可用

1、授权一个可以通过远程使用VIP登陆集群的用户

mysql>grant all on *.* to 'hm'@'192.168.1.%' identified by '741616710'2、使用VIP192.168.1.230登陆，并做相关测试，在各个节点查看是否同步数据库

[root@monitor ~]# mysql -uhm -p741616710 -h192.168.1.230

mysql>showvariableslike'hostname%'

+---------------+---------+

|Variable_name|Value|

+---------------+---------+

|hostname|master1|

+---------------+---------+

1rowinset(0.01sec)

mysql>createdatabasetest1

QueryOK,1rowaffected(0.00sec)

mysql>usetest1

Databasechanged

mysql>createtablett1(idint,namevarchar(20))

QueryOK,0rowsaffected(0.13sec)

---