最近出了件大事,一大早被领导三番催促,原来是部署在我们机房机器上的禅道莫名挂了,所有用户均无法正常登陆,怀疑是机房机器变动导致部分数据丢失,好在禅道每天有备份,尝试使用备份数据重新覆盖安装,也是失败,最后检查是服务器磁盘满了。。。但也提醒了我这些数据的重要性(数据包已经有6G了,所有开发任务和缺陷、用例全在上面),于是着手把数据远程备份一次。
我使用的机器是Centos7,不同机器命令不太一样,如果使用的是Centos6及以下版本,sytemctl需要换成service
上方是给出的注释,从左往右依次是分、时、日、月、周,我设置的是每天凌晨2点半执行打包脚本,3点半把压缩包传至另一个服务器,4点则删除该压缩包,脚本比较简单
使用RSA非对称加密算法,将禅道服务器的公钥放到备份服务器的authorized_keys中
公钥/root/ssh/id_rsapub
秘钥/root/ssh/id_rsa
可以通过lszrz工具将公钥上传至B服务器中。
尝试一下:
scp testtxt root@47943678:/root/
大功告成
1、你可以在数据库A做计划任务,用exp或者expdp导出,然后scp或者rsync到服务器B例如计划任务0 0 /data1/backup/expdp_db_baksh;
expdp_db_baksh内容:
#!/bin/sh
~/bash_profile
dst=/data1/backup/db_bak
today=`date +%F`
bakfile=expdp_db_${today}dmp
logfile=expdp_db_${today}log
expdp 'user01/778899' DIRECTORY=expdp_dir1 parallel=2 \
dumpfile=$bakfile SCHEMAS=user01 logfile=$logfile COMPRESSION=all
scp -P22 $bakfile oracle@1721615:/data1/backup/db_bak
exit 0;
2、也可以在服务器B用exp直接导出数据
exp 'user01/778899@DB01' file=$bakfile FULL=Y log=baklog
3、开启归档模式,在服务器A用rman 做全备或增量备份,然后将备份同步到服务器B
指定路径
CONFIGURE CHANNEL DEVICE TYPE DISK FORMAT '/data1/rman/full_%d_%U';
全备份,默认Format
backup incremental level 0 database;
增量备份
backup incremental level 1 database;
将备份rsync 到服务器B
/usr/bin/rsync -av '-e ssh -p 22' oracle@1721611:/data1/rman /data1
4、开启归档模式,在服务器AB间配置DATAGURAD,同步数据一、 使用mysql相关命令进行简单的本地备份
1 mysqlldump命令
mysqldump 是采用SQL级别的备份机制,它将数据表导成 SQL 脚本文件,在不同的 MySQL 版本之间升级时相对比较合适,这也是最常用的备份方法。
使用 mysqldump进行备份非常简单,如果要备份数据库” db_backup ”,使用命令:
#mysqldump –u -p phpbb_db_backup > /usr/backups/mysql/db_backup2008-1-6sql
还可以使用gzip命令对备份文件进行压缩:
#mysqldump db_backup | gzip > /usr/backups/mysql/ db_backup2008-1-6sqlgz (备份后生成的sql不含建库语句!)
只备份一些频繁更新的数据库表:
## mysqldump sample_db articles comments links > /usr/backups/mysql/sample_dbart_comm_lin2008-1-6sql
上面的命令会备份articles, comments, 和links 三个表。
恢复数据使用命令:
#mysql –u -p db_backup </usr/backups/mysql/ db_backup2008-1-6sql
注意使用这个命令时必须保证数据库正在运行。
2 使用 SOURCE 语法
其实这不是标准的 SQL 语法,而是 mysql 客户端提供的功能,例如:
# SOURCE /tmp/db_namesql;
这里需要指定文件的绝对路径,并且必须是 mysqld 运行用户(例如 nobody)有权限读取的文件。
3 mysqlhotcopy备份
mysqlhotcopy 只能用于备份 MyISAM,并且只能运行在 linux 和Unix 和 NetWare 系统上。mysqlhotcopy 支持一次性拷贝多个数据库,同时还支持正则表达。以下是几个例子:
#mysqlhotcopy -h=localhost -u=goodcjh -p=goodcjh db_name /tmp
(把数据库目录 db_name 拷贝到 /tmp 下)
注意,想要使用 mysqlhotcopy,必须要有 SELECT、RELOAD(要执行 FLUSH TABLES) 权限,并且还必须要能够有读取 datadir/db_name 目录的权限。
还原数据库方法:
mysqlhotcopy 备份出来的是整个数据库目录,使用时可以直接拷贝到 mysqld 指定的 目录 (在这里是 /usr/local/mysql/data/)目录下即可,同时要注意权限的问题,另外首先应当删除数据库旧副本如下例:
# /bin/rm -rf /mysql-backup///old
关闭mysql 服务器、复制文件、查询启动mysql服务器的三个步骤:
# /etc/initd/mysqld stop
Stopping MySQL: [ OK ]
# cp -af /mysql-backup/// /var/lib/mysql /
# /etc/initd/mysqld start
Starting MySQL: [ OK ]
#chown -R nobody:nobody /usr/local/mysql/data/ (将 db_name 目录的属主改成 mysqld 运行用户)
二、使用网络备份
将MYSQL数据放在一台计算机上是不安全的,所以应当把数据备份到局域网中其他Linux计算机中。假设Mysql服务器IP地址是:19216813。局域网使用Linux的远程计算机IP地址是19216814;类似于windows的网络共享,UNIX(Linux)系统也有自己的网络共享,那就是NFS(网络文件系统),在linux客户端挂接(mount)NFS磁盘共享之前,必须先配置好NFS服务端。linux系统NFS服务端配置方法如下:
(1)修改 /etc/exports,增加共享目录
/export/home/sunky 19216814(rw)
/export/home/sunky1 (rw)
/export/home/sunky2 linux-client(rw)
注:/export/home/目录下的sunky、sunky1、sunky2是准备共享的目录,1014013323、、linux-client是被允许挂接此共享linux客户机的IP地址或主机名。如果要使用主机名linux-client必须在服务端主机/etc/hosts文件里增加linux-client主机ip定义。格式如下:
19216814 linux-client
若修改/etc/export文件增加新的共享,应先停止NFS服务,再启动NFS服务方能使新增加的共享起作用。使用命令exportfs -rv也可以达到同样的效果。linux客户端挂接(mount)其他linux系统或UNIX系统的NFS共享。这里我们假设19216814是NFS服务端的主机IP地址,当然这里也可以使用主机名,但必须在本机/etc/hosts文件里增加服务端ip定义。/export/home/sunky为服务端共享的目录。如此就可以在linux客户端通过/mnt/nfs来访问其它linux系统或UNIX系统以NFS方式共享出来的文件了。
把MYSQL数据备份到使用Linux的远程计算机需要在两端都安装NFS协议(Network File System),远程NFS计算机安装NFS协议后还要修改配置文件:/etc/exports,加入一行:
/usr/backups/mysql/ 19216814 (rw, no_root_squash)
表示将/usr/backups/mysql/目录共享。这个目录具有远程root用户读写权限。保存NFS配置文件,然后使用命令:
#exportfs -a –r
然后重新启动NFS服务:
#service nfsd start
远程计算机设定后,在MYSQL服务器/mnt 目录下建立一个backup_share目录:
#mkdir /mnt/backup_share
将远程的Linux计算机的/usr/backups/mysql/目录挂载到MYSQL服务器的/mnt/backup_share目录下:
# mount -t nfs 19216814:/usr/backups/mysql /mnt/backup_share
将目录挂载进来后,只要进入/mnt/backup_share 目录,就等于到了IP地址:19216814那部NFS 计算机的/usr/backups/mysql 目录中。下面使用mysqldump把“phpbb_db_backup”备份到远程计算机:
# mysqldump db_backup > /mnt/backup_share/ db_backup2008-1-6sql
自动完成网络备份的方法:
Linux 服务器上的程序每天都在更新 MySQL 数据库,于是就想起写一个 shell 脚本,结合 crontab,定时备份数据库。建立一个shell脚本:sample_db_backupsh
# At the very end the $(date +%F) 自动添加备份日期
mysqldump -u <username> -p <password> -h <hostname> sample_db > /mnt/backup_share/sample_db$(date +%F)
#un-mount the filesystem
umount /mnt/backup_share
# mount \u2013o soft 19216814:/archive /mnt/backup_share
说明:mount NFS服务器的一个重要参数:hard (硬) mount或soft(软)mount。
硬挂载: NFS客户机会不断的尝试与NFS服务器的连接(在后台,一般不会给出任何提示信息),直到挂载上为止。
软挂载:会在前台尝试与NFS服务器的连接,是默认的连接方式。当收到错误信息后终止mount尝试,并给出相关信息。
对于到底是使用硬挂载还是软挂载的问题,这主要取决于你访问什么信息有关。例如你是想察看NFS服务器的视频文件时,你绝对不会希望由于一些意外的情况(如网络速度一下子变的很慢)而使系统输出大量的错误信息,如果此时你用的是硬挂载方式的话,系统就会等待,直到能够重新与NFS 服务器建立连接传输信息。另外如果是非关键数据的话也可以使用软挂载方式,如FTP一些数据等,这样在远程机器暂时连接不上或关闭时就不会挂起你的会话过程。
下面建立脚本文件权限:chmod +x /sample_db_backupsh
然后使用将此脚本加到 /etc/crontab 定时任务中:
01 5 0 mysql /home/mysql/ sample_db_backupsh
好了,每周日凌晨 5:01 系统就会自动运行 sample_db_backupsh 文件通过网络备份 MySQL 数据库了。
三、实时恢复M y S Q L数据方法
在对MySQL数据和表格结构进行备份时,mysqldump是一个非常有用的工具。然而,通常情况下,一般一天只备份一次,或者在一个特定的间隔备份一次。如果在刚备份完成的一段时间以内数据丢失,那么这些数据很有可能无法恢复。有什么方法可以对数据进行实时性地保护呢事实上,现在有几种方法都可以实现MySQL数据库的实时保护。这里介绍其中一种,即使用二进制日志进行数据恢复。
1 设置二进制日志方法
要想从二进制日志恢复数据,你需要知道当前二进制日志文件的路径和文件名。一般可以从选项文件(即mycnf or myini,取决于你的系统)中找到路径。如果未包含在选项文件中,当服务器启动时,可以在命令行中以选项的形式给出。启用二进制日志的选项为-- log-bin。要想确定当前的二进制日志文件的文件名,输入下面的MySQL语句:
# SHOW BINLOG EVENTS \G
2 最简单的数据恢复
每天备份和运行二进制日志的确是一个在MySQL服务器中恢复数据的不错方法。比如,可以每天在深夜使用mysqldump对数据进行备份,如果某天在数据备份完成后的一段时间里,由于某种原因数据丢失,可以使用以下方法来对其进行恢复。首先,停止MySQL服务器,然后使用以下命令重新启动MySQL服务器。该命令将保证是惟一可以访问该数据库服务器的人:
# /etc/initd/mysqld stop
Stopping MySQL: [ OK ]
# mysqld --socket=/tmp/mysql_restoresock --skip-networking
这里, 一socket选项将为U n i x 系统命名一个不同的Socket文件。一旦服务器处于独占控制之下,就可以放心地对数据库进行 *** 作,而不用担心在进行数据恢复的过程中有用户尝试访问数据库而导致更多的麻烦。进行恢复的第一个步骤是恢复晚上备份好的dump文件:
#mysql -u root -pmypwd --socket=/tmp/mysql_restoresock < /var/backup/20080120sql
该命令可以将数据库的内容恢复至晚上刚刚完成备份的内容。要恢复dump文件创建后的数据库事务处理, 可以使用mysqlbinlog工具。如果每天晚上进行备份 *** 作时都对日志进行flush *** 作,则可以使用以下命令行工具将整个二进制日志文件进行恢复:
mysqlbinlog /var/log/mysql/bin123456 \
| mysql -u root -pmypwd --socket=/tmp/mysql_restoresock
3 针对某一时问点的恢复
对于MySQL 414,可以在mysqlbinlog语句中通过--start-date和--stop-date选项指定DATETIME格式的起止时间。假设用户在2008-1-22上午10点执行的SQL语句删除了一个大的数据表,则可以使用以下命令进行恢复:要想恢复表和数据,你可以恢复前晚上的备份,并输入:
#mysqlbinlog --stop-date="2008-1-22 9:59:59"
/var/log/mysql/bin123456 |
mysql -u root -pmypwd \
--socket=/tmp/mysql_restoresock
#mysql -u root -pmypwd
该语句将恢复所有给定一stop-date日期之前的数据。如果在执行某SQL语句数小时之后才发现执行了错误 *** 作,那么可能还需要恢复之后输入的一些数据。这时, 也可以通过mysqlbinlog来完成该功能:
#mysqlbinlog --start-date="2008-1-22 10:01:00" \
/var/log/mysql/bin123456 \
| mysql -u root -pmypwd \
--socket=/tmp/mysql_restoresock
#mysql -u root -pmypwd
在该行中,从上午10:01登录的SQL语句将运行。组合执行前夜的转储文件和mysqlbinlog的两行可以将所有数据恢复到上午10:00前一秒钟。你应检查日志以确保时间确切。
4 使用Position进行恢复
也可以不指定日期和时间,而使用mysqlbinlog的选项--start-position和--stop-position来指定日志位置。它们的作用与起止日选项相同,不同的是给出了从日志起的位置号。使用日志位置是更准确的恢复方法,特别是当由于破坏性SQL语句同时发生许多事务的时候。要想确定位置号,可以运行mysqlbinlog寻找执行了不期望的事务的时间范围,但应将结果重新指向文本文件以便进行检查。 *** 作命令为:
mysqlbinlog --start-date="2005-04-20 9:55:00" --stop-date="2005-04-20 10:05:00"
/var/log/mysql/bin123456 > /tmp/mysql_restoresql
该命令将在/tmp目录创建小的文本文件,将显示执行了错误的SQL语句时的SQL语句。你可以用vi或者gedit文本编辑器打开该文件,寻找你不要想重复的语句。如果二进制日志中的位置号用于停止和继续恢复 *** 作,应进行注释。用log_pos加一个数字来标记位置。使用位置号恢复了以前的备份文件后,你应从命令行输入下面内容:
mysqlbinlog --stop-position="368312" /var/log/mysql/bin123456
| mysql -u root -pmypwd
mysqlbinlog --start-position="368315" /var/log/mysql/bin123456
| mysql -u root -pmypwd
上面的第1行将恢复到停止位置为止的所有事务。下一行将恢复从给定的起始位置直到二进制日志结束的所有事务。因为mysqlbinlog的输出包括每个SQL语句记录之前的SET TIMESTAMP语句,恢复的数据和相关MySQL日志将反应事务执行的原时间。创建脚本/root/script/backupsh
# 该脚本应用于10多台普通的Linux应用服务器,多年来从未出过差错。
# 数据库备份较为特殊,这里不包含数据库备份。
# 因为脚本中含有FTP密码,所以FTP仅给予写权限较为安全,FTP中的老备份的定期删除任务由FTP服务器完成。
# 备份加入到自动任务中,每周六23:00执行,并写入日志,如下:
# 追加下面语句到/etc/crontab中
# 0 23 6 root /root/script/backupsh >> /root/script/backuplog 2>&1
#有注释版:
#!/bin/bash
#=====================================================
#author zhaoyn
#date 2010/12/31
#=====================================================
#参数设定
basedir=/opt/backup #备份存放的目录
days=15 #备份在本地保留天数
bakfiles="/root/script /etc" #需要备份的目录或文件,请不要使用快捷方式或通配符
ftpip=XXXXXXXXXXXX #异地备份的FTP地址
ftpuser='username' #异地备份的FTP用户名
ftppw='password' #异地备份的FTP密码
echo =====================================================
date
cd $basedir
#删除备份目录中15天以前备份文件,不包含子目录
find -maxdepth 1 -name "tgz" -mtime +"$days" -exec rm -f {} \;
for bakfile in $bakfiles
do
file=`basename $bakfile`
#压缩打包需要备份的目录,包括权限,文件命名包含当前时间
tar -czpf "$file"_$(date +%Y%m%d-%H%M)tgz $bakfile
#大文件打包前后,缓解磁盘压力,降低I/O错误概率
sleep 10s ;sync;sync
done
#通过FTP上传当天备份的文件到异地
ftp -v -n -i $ftpip <<END
user $ftpuser $ftppw
bin
mput $(date +%Y%m%d)tgz
bye
END
#无注释版:
#!/bin/bash
#=====================================================
#author zhaoyn
#date 2010/12/31
#=====================================================
basedir=/opt/backup
days=15
bakfiles="/root/script /etc"
ftpip=XXXXXXXXXXXX
ftpuser='username'
ftppw='password'
echo =====================================================
date
cd $basedir
find -maxdepth 1 -name "tgz" -mtime +"$days" -exec rm -f {} \;
for bakfile in $bakfiles
do
file=`basename $bakfile`
tar -czpf "$file"_$(date +%Y%m%d-%H%M)tgz $bakfile
sleep 10s ;sync;sync
done
ftp -v -n -i $ftpip <<END
user $ftpuser $ftppw
bin
mput $(date +%Y%m%d)tgz
bye
END
Mysql的备份,如果凌晨可以停止几分钟,那么强烈建议对Mysql执行物理备份,脚本如下
#!/bin/bash
#History
#=====================================================
#When Who What
#2010/3/24 Zhaoyn Create
#
#=====================================================
basedir=/opt/backup
updir=$basedir/updir
timenow=$(date +%Y%m%d-%H%M)
# 删除mysql十四天前的数据,注意,这里仅删除了mysql的tgz文件。
rm -f `find $basedir -name "mysqltgz" -mtime +14`
# 由于数据库在有连接的情况下,直接对数据文件打包是可能出问题的,所以这里我们在打包前要停用数据库,这样直接对数据文件打包,恢复时只需解压数据文件到新环境相应的目录即可,默认是/var/lib/mysql
# 如果白天也要进行数据库备份,请使用mysqldump命令,进行在线备份。恢复也挺方便的。
/etc/rcd/initd/mysqld stop
sleep 5s ;sync;sync
tar -czpf $basedir/mysql$timenowtgz /var/lib/mysql
/etc/rcd/initd/mysqld start
#=====================================================
附件中的脚本文件是有DOS换行符(CR/LF)的,复制文件中的内容到SSH客户端没有问题,如果直接拷贝文件到Linux系统中,可先运行下面的命令:
mv txt sh
dos2unix sh
Do it like this
/usr/bin/mysqldump -uroot -p123456 shuju > /home/user/shujusqlAnd
chmod 755 /home/user/backsh一:首先确保你的移动硬盘是FAT32格式的二:插上硬盘,在linux中使用指令fdisk -l 查看硬盘信息,有个未挂载的是你的移动硬盘,如果不知道是哪个,那你就通过显示的硬盘大小来识别吧。 我这里举例这么显示的:/DEV/SDA 40GB
三:新建目录并挂载
mkdir /mnt/usb/
mount -t VFAT /dev/sda /mnt/usb
我这使用的是FAT格式,所以-t 后面是VFAT 其他格式这里接不同
四:如果上面都成功了,进入/mnt/usb/目录,可以看到里面就是你硬盘里面的东西。NAS支持NFS协议,Linux *** 作系统也是支持NFS协议的,可以直接在Linux里面挂载NAS共享出来的NFS目录,把数据直接拷贝到NAS上。 比如NAS服务器的地址是1000111,在Linux上: # mount 1000111:/sharefolder /mnt # cp -r /des /mnt
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)