基于Xtrabackup8的Mysql定时全量,增量备份及恢复实战演练

所有mysql实例皆为MYSQL8版本,使用的Xtrabackup备份组件为xtrabackup8.

生产mysql使用基于percona的分支,相对于原版mysql多了一些性能调教和监控视图,版本为:percona-server-server-8.0.22,备份相关工具对mysql8的官方版本也是完全兼容的.percona的分支相关信息: https://www.percona.com/software/mysql-database/percona-server

生产环境mysql一共3个实例,使用MGR组成集群以实现灵活的高可用与读写分离.并由前置的proxysql进行数据的路由与转发.

模拟故障为:在生产环境mysql8 的MGR集群完全不可用,有前一天的Xtrabackup全量备份和增量备份,需要从之前的全量和增量备份完整恢复到故障最近的时间点.本次故障恢复的要求是读取前一天的所有增量和全量数据并恢复.快速重组生产MGR集群.

在这里会用ansible脚本快速搭建3个mysql实例,以模拟生产环境(略过).

backup_func.sh :

策略是每天的0:30做一次全量备份,之后每两个小时的半点会做一次增量备份.

注: 本次恢复属于完整的生产环境集群恢复,下面的 获取备份文件 , 准备备份 , 开始恢复 相关流程,需要在每一台服务器上执行,实际 *** 作中,如果只需要恢复并查看数据则只做一个点就可以了.

这里取的是前一天的打过包的备份文件,根据备份脚本的规则,每天凌晨的全量备份之前,会自动将前一天的全量备份和增量备份目录全部打包并以前一天的日期命名:

20210609.tar.gz

将其scp到待恢复的服务器上并解压:

解压后的目录结构:

确保需要恢复的服务器有mysql实例,xtrabackup8工具已安装,由于备份是经过压缩的,确保qpress也已安装.

由于备份脚本在备份时使用了 --compress 指令,在恢复备份前,需要先解压缩备份,

这里将所有增量和全量备份路径均执行一下解压缩指令:

在同时存在全量和增量备份需要合并的情况下,准备备份时需要带上 --apply-log-only 参数,但是要注意在准备最后一个增量备份的时候,不需要加该参数.

以上 *** 作会将所有的增量备份合并到全量备份中.

根据各自安装时指定的相关路径去删除数据.(data,binglog,logs,undolog),一般在my.cnf中有指定

如果my.cnf不是在默认路径(/etc/my.cnf),需要指定一下mysql配置文件的路径: --defaults-file=${DB_CONF}

至此,备份数据在单节点上的恢复已经完成了.

查看下最后一份增量备份里才会有的一些数据

先确保同样的mysql恢复 *** 作分别在三台服务器上执行完成.(如果在新建服务器上恢复MGR集群,一定要检查my.cnf中MGR集群相关配置,比如 loose-group_replication_local_address , loose-group_replication_group_seeds , loose-group_replication_start_on_boot )

master节点启动:

MGR的三台节点的权重实际上是一样的,选择其中的一台做master即可.

mster节点启动完成后,再分别在两台slave节点启动MGR:

由于3台mysql实例的数据是一样的,节点间状态同步迅速就OK了.

至此,3台mysql的MGR状态均为 online ,整个集群启动完成,全演练流程结束.

1：官方百万级别的测试数据库：

官方测试数据库github网址：https://github.com/datacharmer/test_db

下载到目录，解压即可，运行命令：

2：自己创建简单测试数据库：

快速随机生成测试语言的网站：https://generatedata.com/

选择sql和想生成的字段，点击生成Generate!生成即可。

在MySQL输入生成的语句即可。

3：测试备份还原时用到的命令

删库跑路测试（先备份好）

还原后查询库的表数据是否完整。

采用复制整个数据存放目录

1：查看数据库数据存放位置

有两种方法：

1)：在数据库中用命令 show variables like 'datadir' 查看

2)：在配置文件中查看，配置了 datadir 目录的可查看。没有配置的默认为 /var/lib/mysql/ 位置

Linux中查看配置文件

2：复制目录或者目录下某个数据库名

3：还原时直接复制文件夹到数据库目录即可

mysqldump又可叫做全量备份。

参数 --databases 同 -B ，单独一个库，也可省略。

1、备份命令mysqldump格式

格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 database 数据库名 >文件名.sql

备份testDatabase数据库

2、备份MySQL数据库为带删除表的格式

备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。

3、直接将MySQL数据库压缩备份

备份并压缩

4、备份MySQL数据库某个(些)表

备份testDatabase中的myTable表，不需要用参数 --databases 或者 -B

5、同时备份多个MySQL数据库

同时备份testDatabase和 employees两个库

6、备份服务器上所有数据库

参数 --all-databases 同 -A

7、还原MySQL数据库的命令

1) 不指定数据名还原，默认生成原数据库名称，还原所有数据库。

2) 指定数据名还原，还原指定单个数据库，需在数据库种预先创建一个testDatabase名称。

3) 还原压缩的MySQL数据库

4) 进入数据库用source导入

增量备份是针对于数据库的bin-log日志进行备份的，增量备份是在全量的基础上进行 *** 作的。增量备份主要是靠mysql记录的bin-log日志。

1：查看是否开启bin-log日志

进入mysql输入命令可查看。

显示如下为开启状态，日志文件在/var/lib/mysql/以binlog.00001的格式保存。

如未开启，需要在配置文件种配置

2：查看目前使用的bin-log日志文件

进入mysql查看命令。

显示如下，目前使用的是binlog.000022文件，所有 *** 作都记录在此文件。

查看当前testDatabase的表myTable数据如下，

3：刷新日志，使用新的日志文件（备份）

在命令端执行命令

日志文件从 binlog.000022 变为 binlog.000023

这时相当与已经备份成功，备份文件即为上次的binlog.000022日志文件。

4：删除数量，从日志还原数据

1) 删除ABC行

查询以及没有ABC行列。

2) 恢复数据ABC行

退出mysql，在命令端用mysqlbinlog命令恢复到binlog.000022日志状态。

进入数据库再次查看数据，ABC已经恢复。

增量备份完成。

方案一：mysqldump全备份+日志增量备份

1， mysqldump备份方案：

周一凌晨3点 全备

周二到周日凌晨3点增量备份

2， 备份步骤

(1) 创建备份目录，备份脚本存放目录

Shell >mkdir /usr/mysqlbackup

Shell >chmod 755 /usr/mysqlbackup

Shell >mkdir /usr/mysqlbackup/daily

Shell >chmod 755 /usr/mysqlbackup/daily

Shell >mkdir /usr/script

Shell >chmod 777 /usr/script/*.sh

(2) 启用二进制日志

如果日志没有启开，必须启用binlog，要重启mysqld，首先，关闭mysqld，打开/etc/my.cnf，加入以下几行：

[mysqld]

log-bin

然后重新启动mysqld，会产生hostname-bin.000001以及hostname-bin.index，前面的日志文件是记录所有对数据的更新 *** 作，后面的文件是存储所有二进制文件的索引，不能轻易被删除。

(3) 全备份，增量备份。

详细见mysqlFullBackup.sh、mysqlDailyBackup.sh脚本（请注意脚本里面的备份目录、mysql软件安装目录、压缩文件名以及用户名密码，如有不符，请修改）。

下面是部分shell上单个手动执行的测试命令。

Shell>/usr/local/mysql/bin/mysqldump -uroot -pnYuIman25040slave201012301124 --no-create-info=FALSE --order-by-primary=FALSE --force=FALSE --no-data=FALSE --tz-utc=TRUE --flush-privileg

es=FALSE --compress=FALSE --replace=FALSE --insert-ignore=FALSE --extended-insert=TRUE --quote-names=TRUE --hex-blob=TRUE --complete-insert=FALSE --add-locks=TRUE --port=3306 --d

isable-keys=TRUE --delayed-insert=FALSE --create-options=TRUE --delete-master-logs=FALSE --comments=TRUE --default-character-set=utf8 --max_allowed_packet=1G --flush-logs=FALSE -

-dump-date=TRUE --lock-tables=TRUE --allow-keywords=FALSE --events=FALSE --single-transaction=TRUE --routines --all-databases >/backup/mysql/full/mysql_20110104_195546.sql

(4) 设置crontab任务，每天执行备份脚本

shell>crontab –e

#每个星期日凌晨3:00执行完全备份脚本

#周一到周六凌晨3:00做增量备份

0 3 * * 1-6 /root/MySQLBackup/mysqlDailyBackup.sh >/dev/null 2>&1

(5) 清除旧的备份文件。

每天去看查看下备份磁盘空间，删除旧的备份压缩文件。

---