GitLab 远程 定时备份

一、环境准备

1.gitlab所在的服务器A（centos7，192.168.1.1）

2.备份服务器B（centos7，192.168.1.2）

3.gitlab本地备份目录设置为/var/opt/gitlab/backups/log，本篇也是以此展开

gitlab已经配置了本地备份。如果没有配置，可以参考 http://www.cnblogs.com/straycats/p/7671204.html 。

二、通过密钥配对取消scp传输密码的限制

手动备份数据费时费力。最好的方法就是通过脚本实现远程自动备份。但远程无论是通过SSH登陆，还是通过scp拷贝文件都需要输入密码。

为了克服这个问题，首先需要实现不需要密码的SSH登陆，这样就可以使用 rsync，scp，rexec等命令来做的远程闹缺备份了。

2.1 生成密掘弯毕钥对

假设A，B两服务器，现在需要在A机上用root登陆B机，而不需要输入密码。那我们可按照下面的步骤来做：

** 1）在gitlab服务器A上生成rsa证书 **

1、生成的过程中提示输入密钥对保存位置，直接回车，接受默认值就行了。

2、因为之前已经有/root/.ssh/id_rsa 文件存在，因此提示你是否覆盖，输入y表示覆盖

3、接着会提示输入一个密码，直接回车，让它空着。当然，也可以输入一个密码。

4、接着输入确认密码，输入完之后，回车密钥对就生成完了。

这样，在/root/.ssh下生成id_rsa 和 id_rsa.pub 两个文件，其中公共密钥保存在 /root/.ssh/id_rsa.pub，私有密钥保存在/root/.ssh/id_rsa。

** 2）在gitlab服务器A上cp生成rsa公钥证书 **

在/root/.ssh下复制备份一份id_rsa.pub 命名为 id_rsa.pub.A，以便拷贝到远程服务器B。

2.2 生成rsa公钥证书上传到备份服务器B

先在服务器B上创建目录/root/.ssh。

使用scp命令进行远程复制，将服务器A生成的id_rsa.pub.A拷贝到服务器B的/root/.ssh目录下。

此时使用scp命令需要输入密码，当把下面的“判芹2.3 密钥配对”执行后，以后gitlab服务器A使用scp命令复制文件到备份服务器B的话，就不需要输入密码了。

2.3 密钥配对

1）创建authorized_keys文件

在备份服务器B的/root/.ssh下创建authorized_keys文件。

2）将id_rsa.pub.A文件内容追加到authorized_keys 文件中

通过 cat 命令 把id_rsa.pub.A 追写到 authorized_keys 文件中。

3）修改authorized_keys文件的权限

authorized_keys文件的权限很重要，如果设置为777，那么登录的时候，还是需要提供密码的。

4）测试上传文件是否还要输入密码

不放心的话，立刻测试下gitlab服务器A使用scp命令复制文件到备份服务器B是否还要输入密码。

发现在2.3之前，由于没有设置ssh证书授权认证时，上传需要输入密码；2.3 *** 作完后，由于授权认证，已经不需要输入密码了。

三、定时将备份文件传到备份服务器

3.1 创建远程备份脚本

在gitlab服务器A上 ，在/root目录下创建定期备份脚本auto_backup_to_remote.sh。

添加下面的内容，并wq保存。

3.2 修改远程备份脚本auto_backup_to_remote.sh的权限

要能让系统执行 auto_backup_to_remote.sh ，必须修改该脚本的权限。

3.3 创建日志存放目录

3.4 测试远程备份脚本的功能是否可用

现在为了验证脚本是否可以正常运行，我们需要手动执行脚本。

在gitlab服务器A上执行find命令，看是否能够正常查找出我们要scp到远程服务器的Gitlab备份文件。

手动执行脚本auto_backup_to_remote.sh，看是否能够正常上传

等待1-2分钟左右，查看备份服务器B的目录/root/gitlab_backup下是否有服务器A传过来的备份文件。

在备份服务器B上能找到服务器A传过来的备份文件，说明远程备份脚本的功能OK。

如果每次上传都通过人工运行脚本的方式，人工的消耗太大，接着配置定时执行该脚本。

3.5 添加定时计划

定时备份的思路建立在手动的基础上，通过crontab添加定时计划就可以解决这个问题。

一般添加定时计划可以有2种方式：

1.使用命令crontab -e，将定时任务添加后保存。

2.将定时任务添加到/etc/crontab文件中。

我这里采取第一种，使用crontab -e。

结合我之前对公司gitlab本地备份的设计，故设计在备份完10分钟后上传，故分别在每天12:10、19:10进行备份，故添加下面的内容，wq保存。

重启crontab

四、定时删除备份服务器上的备份文件

每个Gitlab备份文件都很大。因此每天备份两次，过不了多久的话，备份服务器B上的磁盘空间可能就会被Gitlab备份文件占用完。

故需要定期清理备份文件，参考备份服务器的空间，暂定保留14天的备份文件。

4.1 创建删除过期备份文件的脚本

设计备份服务器B的/root/gitlab_backup作为接收远程上传备份文件的目录， 故在备份服务器B上 ，先创建该目录。

创建删除过期备份文件的脚本auto_remove_old_backup.sh。

添加下面的内容，并wq保存。

4.2 修改auto_remove_old_backup.sh脚本的权限

4.3 添加定时计划

定时备份的思路建立在手动的基础上，通过crontab添加定时计划就可以解决这个问题。

一般添加定时计划可以有2种方式：

1.使用命令crontab -e，将定时任务添加后保存。

2.将定时任务添加到/etc/crontab文件中。

我这里采取第一种，使用crontab -e。

设计凌晨0点执行删除过期备份文件的脚本，故添加下面的内容，wq保存。

重启crontab

crontab -l的内容实际都在 /var/spool/cron/ 目录下念掘的文件里面

其实用tar或者cp备份就够了

另外crontab里面的命令最好用绝对路径，否则要声明一下环境变量，否则很容易命令找不到的。

1、任务调度设置文件的写法

可用crontab -e命令来编辑,编辑的是/var/spool/cron下对应用户的cron文件,也可以直接修改/etc/crontab文件

具体格式如下：

Minute Hour Day Month Dayofweek command

分钟 小时 天 月 天每星期 命令

每个字段代表的含义如下：

Minute 每个小时的第几分钟执行该任务

Hour 每天的第几个小时执行该任务

Day 每月的第几天执行该任务

Month 每年的第几个月执行该任务

DayOfWeek 每周的第几天执行该任务

Command 指定要执行的程昌弯序

在这些字段里，除了“Command”是每次都必须指定的字段以外，其它字段皆为可选

字段，可视需要决定。对于不指定的字段，要用“*”来填补其位置。

举例如下：

5 * * * * ls 指定每小时的第5分钟执行一次ls命令

30 5 * * * ls 指定每天的 5:30 执行ls命令

30 7 8 * * ls 指定每月8号的7：30分执行ls命令

30 5 8 6 * ls 指定每年的6月8日5：30执行ls命令

30 6 * * 0 ls 指定每星期日的6:30执行ls命令[注：0表示星期天，1表示星期1，

以此类推，也可以用英文来表示，sun表示星期天，mon表示星期一耐高闷等。]

30 3 10,20 * * ls 每月10号及20号的3：30执行ls命令[注：“，”用来连接多个不连续的时段]

25 8-11 * * * ls 每天8-11点的第25分钟执行ls命令[注：“-”用来连接连续的时段]

*/15 * * * * ls 每15分钟执行一次ls命令 [即每个小时的第0 15 30 45 60分钟执行ls命令 ]

30 6 */10 * * ls 每个月中，每隔10天6:30执行一次ls命令[即每月的1、11、21、31日是的6：30执行一次ls 命令。 ]

每天7：50以root 身份执行/etc/cron.daily目录中的所有可执行文件

50 7 * * * root run-parts /etc/cron.daily [ 注：run-parts参数表示，执行后面目录中的所有可执行文件。 ]

2、新增调度任务可用两种方法：

1)、在命令行输入: crontab -e 然后添加相应的任务，wq存盘退出。

2)、直接编辑/etc/crontab 文件，即vi /etc/crontab，添加相应的任务。

1、建立自动备份脚本

为了使数据库备份和恢复的符合我们的实际要求（备份保留七天，每天凌晨备份一次），用一段符合要求的Shell脚本来实现整个备份过程的自动化。

[root@mysqltest ~]# vim mysql-backup.sh

#!/bin/bash

##作者：Barlow##

##最后修订：2013-6-25##

#脚本作用：备份Mysql数据库

#

#设定备份保留天数K

K=7

#

TODAY=`date '+%Y%m%d'`

KDAY=`date -d "$TODAY - $K day" '+%Y%m%d'`

BACKDIR=/var/mysqlbak/$TODAY

KDAYDIR=/var/mysqlbak/$KDAY

mkdir -p $BACKDIR

#

# The Password of MySQL

ROOTPASS=******* ##将*替换为实际敏闭mysql数据库的root密码

#

# Get the Name of Database

DBLIST=`ls -p /var/lib/mysql | grep / | tr -d /`

#

# Backup with Database

for dbname in $DBLIST

do

mysqlhotcopy $dbname -u root -p $ROOTPASS $BACKDIR | logger -t mysqlhotcopy

done

#

#删除过期备份

if [ -d "$KDAYDIR" ]then

rm -rf $KDAYDIR

exit

fi

改变脚本权限，root具有完全权限，其他用户没有任何权限：

[root@mysqltest ~]# chmod 700 mysql-backup.sh

运行一次脚本：

[root@mysqltest ~]# ./mysql-backup.sh

查看运行弯没结果：

[root@mysqltest ~]# ll /var/mysqlbak/20130625/

mysql/ wordpress/

[root@mysqltest ~]# ll /var/mysqlbak/20130625/

总用量 8

drwxr-x---. 2 mysql mysql 4096 6月 25 14:26 mysql

drwxr-x---. 2 mysql mysql 4096 6月 25 14:26 wordpress

可以看到备份已经埋拿纳成功完成。

2、创建自动任务每天运行

[root@mysqltest ~]# crontab -e

00 01 * * * /root/mysql-backup.sh

##每天凌晨1点运行一次

---