CentOS7 使用rsync远程同步指定文件夹，请问用什么命令？

remote synchronize：一款实现远程同步功能的软件，它在同步文件的同时，可以保持原来文件的权限、时间、软硬链接等附加信息, rsync是用 “rsync 算法”提供了一个客户机 和远程文件服务器的文件同步的快速方法，而且可以通过ssh方式来传输文件，这样其保密性也非常好，另外它还是免费的软件。因为rsync是一款如此有用　 的软件，所以很多Linux的发行版本都将它收录在内了

特性：

能更新整个目录

有选择性的保持符号链链、硬链接、文件属于、权限、设备以及时间等；

对于安装来说，无任何特殊权限要求；

对于多个文件来说，内部流水线减少文件等待的延时；

能用rsh、ssh 或直接端口做为传输入端口；

支持匿名rsync 同步文件，是理想的镜像工具；

架设rsync服务器：

1.安装：

#yum方式安装

#源码方式，注意安装gcc

tar xvf rsync-xxx.tar.gz

cd rsync-xxx

./configure --prefix=/usr/local

make make install

rsync的主要有以下三个配置文件（需要手工创建）：

/etc/rsyncd.conf(主配置文件)

/etc/rsyncd.secrets(密码文件)

格式：user1:passwd1

出于安全目的，文件的属性必需是只有属主可读。

chown root.root rsyncd.secrets 　#修改属主

chmod 600 rsyncd.secrets

/etc/rsyncd.motd

定义rysnc服务器信息的，也就是用户登录信息，可以为空

类似ftp的欢迎页面

示例：Welcome to use the mike.org.cn rsync services!

rsyncd.conf配置文件示例：

#Distributed under the terms of the GNU General Public License v2

#Minimal configuration file for rsync daemon

#See rsync(1) and rsyncd.conf(5) man pages for help

# This line is required by the /etc/init.d/rsyncd script

#告诉进程写到 /var/run/rsyncd.pid 文件中

pid file = /var/run/rsyncd.pid

#指定运行端口，默认是873

port = 873

#指定服务器IP地址

address = 192.168.1.171

#服务器端传输文件时，要发哪个用户和用户组来执行，默认是nobody。 如果用nobody 用户和用户组，可能遇到权限问题

#uid = nobody

#gid = nobody

uid = root

gid = root

#一个安全选项 详情自己去查查

use chroot = yes

#read only 是只读选择，也就是说，不让客户端上传文件到服务器上。还有一个 write only选项

read only = yes

#在您可以指定单个IP，也可以指定整个网段，能提高安全性。格式是ip 与ip 之间、ip和网段之间、网段和网段之间要用空格隔开

#limit access to private LANs

hosts allow=192.168.1.0/255.255.255.0 10.0.1.0/255.255.255.0

hosts deny=*

max connections = 5

motd file = /etc/rsyncd.motd

#This will give you a separate log file

#log file = /var/log/rsync.log

#This will log every file transferred - up to 85,000+ per user, per sync

#transfer logging = yes

log format = %t %a %m %f %b

syslog facility = local3

timeout = 300

#指定文件目录所在位置

[home]

path = /home

list=yes #是否可以列出目录

ignore errors # #忽略IO错误

#auth users必须是在服务器上存在的真实的系统用户，如果你想用多个用户以,号隔开，比如auth users = easylife,root

auth users = root

secrets file = /etc/rsyncd.secrets

comment = This is RHEL 4 data

#exclude是排除的意思，也就是说，要把/home目录下的easylife和samba排除在外； easylife/和samba/目录之间有空格分开

exclude = easylife/ samba/

模块定义什么呢？

主要是定义服务器哪个目录要被同步。每个模块都要以[name]形式。这个名字就是在rsync 客户端看到的名字，其实有点象Samba服务器提供的共享名。而服务器真正同步的 数据是通过path 指定的。我们可以根据自己的需要，来指定多个模块。每个模块要指定认证用户，密码文件、但排除并不是必须的

启动rsync服务器：

/usr/bin/rsync --daemon --config=/etc/rsyncd/rsyncd.conf

--config用于指定rsyncd.conf的位置,如果在/etc下可以不写/usr/bin/rsync --daemon --config=/etc/rsyncd/rsyncd.conf

rsync有六种不同的工作模式：

1. 拷贝本地文件；当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。

2.使用一个远程shell程序（如rsh、ssh）来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。

3.使用一个远程shell程序（如rsh、ssh）来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。

4. 从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。

5. 从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。

6. 列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。

-a 以archive模式 *** 作、复制目录、符号连接 相当于-rlptgoD

rsync中的参数

-r 是递归

-l 是链接文件，意思是拷贝链接文件；-p 表示保持文件原有权限；-t 保持文件原有时间；-g 保持文件原有用户组；-o 保持文件原有属主；-D 相当于块设备文件；

-z 传输时压缩；

-P 传输进度；

-v 传输时的进度等信息，和-P有点关系，自己试试。可以看文档；

-e ssh的参数建立起加密的连接。

-u只进行更新，防止本地新文件被重写，注意两者机器的时钟的同时

--progress是指显示出详细的进度情况

--delete是指如果服务器端删除了这一文件，那么客户端也相应把文件删除，保持真正的一致

--password-file=/password/path/file来指定密码文件，这样就可以在脚本中使用而无需交互式地输入验证密码了，这里需要注意的是这份密码文件权限属性要设得只有属主可读。

本文链接

https://www.cnblogs.com/loong-hon/p/13177422.html

四：客户端同步服务端数据

客户端安装类似服务端一直下一步就行

rsync.exe -avz --progress --password-file=rsync.password testwin_rsync@172.19.56.86::testwin /cygdrive/d/ftpdata

rsync.exe -avz --progress --password-file=rsync.pass /cygdrive/d/ftpdata testwin_rsync@172.19.56.86::testwin

这个是把客户端client文件同步到服务端server

注意：客户端执行的时候要在客户端的bin目录下，还有一种方式可以配环境变量

同步的时候conf中配置的需要同步的目录设置共享，然后将创建的testwin_rsyncy用户也共享此文件夹。

D:\cwRsync2\bin\rsync.exe -vrtopg --exclude=desktop.ini --exclude=Desktop.ini --exclude=Thumbs.db --exclude=RECYCLER --progress --password-file=etc/pwd.conf qbanke@192.168.3.3::Documents/ /cygdrive/e/Documents

D:\cwRsync2\bin\rsync.exe -vrtopg --exclude=desktop.ini --exclude=Desktop.ini --exclude=Thumbs.db --exclude=RECYCLER --progress --password-file=etc/pwd.conf /cygdrive/e/Documents qbanke@192.168.3.3::Documents

#意思是

#执行 d:\rsync_Kaiser\bin\rsync.exe

# -vrtopg 这个是运行参数, 可以查看下边的参数列表。

# -exclude=desktop.ini --exclude=Desktop.ini --exclude=Thumbs.db --exclude=RECYCLER 这些也是运行参数, 意思是把=号后边的文件屏蔽掉,不做同步.

# --progress 在程序执行的时候屏幕窗口上显示详细的运作信息,例如整在同步那个文件,速度多少。

# -password-file=etc/pwd.conf 跟服务器端一样,指定密码文件的路径,以便在自动运行的时候不用手动来输入.

# /cygdrive/e/Documents qbanke@192.168.3.3::Documents本地文件夹 e:\ 盘上Documents所有的内容(路径自己根据不情况进行修改)将和 服务端ip地址192.168.3.3 的 Documents 存储目录同步。

如果出现任何错，最大一个可能第一是权限没弄好，目录的，密码文件的。

第二就是配置有误，客户端的没跟服务器的对应好，账号或者存储目录名。

Rsync 的服务端配置里头的储存目录不止写一个的,还可以添加多个存放不同的文件夹或者不同的硬盘

-v, --verbose 详细模式输出

-q, --quiet 精简输出模式

-c, --checksum 打开校验开关，强制对文件传输进行校验

-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD

-r, --recursive 对子目录以递归模式处理

-R, --relative 使用相对路径信息

-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。

--backup-dir 将备份文件(如~filename)存放在在目录下。

-suffix=SUFFIX 定义备份文件前缀

-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)

-l, --links 保留软链结

-L, --copy-links 想对待常规文件一样处理软链结

--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结

--safe-links 忽略指向SRC路径目录树以外的链结

-H, --hard-links 保留硬链结

-p, --perms 保持文件权限

-o, --owner 保持文件属主信息

-g, --group 保持文件属组信息

-D, --devices 保持设备文件信息

-t, --times 保持文件时间信息

-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间

-n, --dry-run现实哪些文件将被传输

-W, --whole-file 拷贝文件，不进行增量检测

-x, --one-file-system 不要跨越文件系统边界

-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节

-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步

--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息

-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件

--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件

--delete 删除那些DST中SRC没有的文件

--delete-excluded 同样删除接收端那些被该选项指定排除的文件

--delete-after 传输结束以后再删除

--ignore-errors 及时出现IO错误也进行删除

--max-delete=NUM 最多删除NUM个文件

--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输

--force 强制删除目录，即使不为空

--numeric-ids 不将数字的用户和组ID匹配为用户名和组名

--timeout=TIME IP超时时间，单位为秒

-I, --ignore-times 不跳过那些有同样的时间和长度的文件

--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间

--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0

-T --temp-dir=DIR 在DIR中创建临时文件

--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份

-P 等同于 --partial

--progress 显示备份过程

-z, --compress 对备份的文件在传输时进行压缩处理

--exclude=PATTERN 指定排除不需要传输的文件模式

--include=PATTERN 指定不排除而需要传输的文件模式

--exclude-from=FILE 排除FILE中指定模式的文件

--include-from=FILE 不排除FILE指定模式匹配的文件

--version 打印版本信息

--address 绑定到特定的地址

--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件

--port=PORT 指定其他的rsync服务端口

--blocking-io 对远程shell使用阻塞IO

-stats 给出某些文件的传输状态

--progress 在传输时现实传输过程

--log-format=formAT 指定日志文件格式

--password-file=FILE 从FILE中得到密码

--bwlimit=KBPS 限制I/O带宽，KBytes per second

-h, --help 显示帮助信息

参考地址： https://www.iteye.com/blog/netsky-cheng-1187298

相关链接

简单两步实现 rsync 自动同步文件免密

https://blog.csdn.net/ot512csdn/article/details/107613205

Rsync 数据同步工具应用指南

https://zhuanlan.zhihu.com/p/40022680

rsync 就是远程同步的意思remote sync.

rsync 被用在UNIX / Linux执行备份 *** 作 *** 作.

rsync 工具包被用来从一个位置到另一个位置高效地同步文件和文件夹. rsync可以实现在同一台机器的不同文件直接备份,也可以跨服务器备份.

rsync 语法如下

从语法结构我们可以看出, 源和目标即可以在本地也可以在远端. 如果是远端的话,需要指明登录用户名, 远端服务器名, 和远端文件或目录. 同时源可以是多个, 目标位置只能是一个.

说明:

-z: --compress 使用压缩机制

-v: --verbose 打印详细信息

-r: --recursive 以递归模式同步子目录

注意: 同步完成后, 我们会发现文件的时间戳timestamps发生了改变.

有时我们希望拷贝或同步时, 时间戳不要发生变化, 源文件是什么时间戳,目标文件就是什么时间戳, 这时我们需要使用 -a --archive 归档模式选项. -a 选项相当于7个选项的组合 -rlptgoD

-r, --recursive: 递归模式Recursive mode

-l, --links: 将符号链接当作符号链接文件拷贝, 不拷贝符合链接指向的文件内容.

-p, --perms: 保留文件权限

-t, --times: 保留修改时间戳

-g, --group: 保留用户组信息

-o, --owner: 保留用户信息(需要超级用户权限)

-D, 相当于 --devices --specials 的组合, 保留设备文件, 保留特殊文件.

同步完成后, 我们再来看文件属性, 时间戳信息得到了保留, 不仅如此文件的所有者 和所在组也得到保留.

说明: Pubkeys 是一个普通文件

使用rsync, 也可以从本地拷贝多个文件或目录到远端, 以下即为示例:

注意:

与本地文件拷贝不同的地方在于, 当拷贝文件到远程服务器时, 我们指定远程主机上的用户名, 服务器地址, 路径等信息, 类是于使用scp命令拷贝, 如果没有设置ssh免密码登录我们还需要提供远程用户的密码等信息.有时你不想频繁输入密码, 或者rsync运行在一个无人执守的脚本里面, 这是需要预先设置ssh免密登录, 或者使用结合expect命令,自动输入密码, 但是出于安全考虑, 密码需要加密. 所以在条件许可的情况下, 还是推荐设置ssh免密登录.

与示例 4 稍有不同, 这时远端目录或文件作为源位置, 本地目录或文件作为目标位置, 示例如下:

rsync 允许指定远程主机上运行shell命令.

这时需要使用 -e 选项:

-e, --rsh=COMMAND 指定远端使用的shell命令

Use rsync -e ssh to specify which remote shell to use. In this case, rsync will use ssh.

在一下特殊的使用场景中, 我们不希望拷贝文件时, 我们不希望拷贝过程覆盖掉目标位置中用户做出的修改. 这时我们需要使用 -u 选项明确的告诉rsync命令保留用户在目标文件中作出的修改. 在下面的例子中, 文件Basenames是用户基于上次的拷贝, 修改过的文件, 当我们使用了-u 选项后, 该文件中的修改将不会被覆盖掉.

在某些特殊场景中, 我们只需要远程服务器上的目录结构, 而不希望花大量时间, 带宽拷贝文件内容, 这时我们可以使用 -d, --dirs选项来达到目的.

有时我们希望拷贝文件时, 能实时的显示拷贝进度, 以及传输速率等信息. 尤其是拷贝大文件时, 程序不输出信息, 用户往往无法区分程序是在响应中, 还是已经挂起, 在这种情况下如果使用 –progress 就会非常有帮助.

rsync –progress option displays detailed progress of rsync execution as shown below.

你也可以使用rsnapshot工具 (rsnapshot会调用rsync)来备份本地linux服务器, 或者备份远程linux服务器.

有时我们希望目标文件和源文件保持严格一致, 不要多文件也不要少文件, 这是我们可能需要使用 -delete 选项来达到目的. 如果使用 -delete 选项, rsync将删除目标位置多余的文件或文件夹. 此选项还可以结合--delete-excluded 选项一起使用, 添加一些例外的文件.

上述示例中, new-file.txt 是源文件中没有的文件, 其将会在拷贝时被删除掉.

在某些特殊的场景下, 我们只想更新, 目标位置已经存在的文件或目录, 而不关心源位置的新文件, 这时我们可以使用-existing 选项仅仅更新已经存在的文件.

让我们来验证一下这个选项的功能, 首先在源端添加一个新文件 new-file.txt.

从上面的例子可以看到, 由于加了--existing选项新文件new-file.txt没有被拷贝到目标位置

选项-i, --itemize-changes 非常有用, 当我们想了解目标位置和源位置的文件差异时.

在源端:

在目标端:

注意: 在上面的例子中, 源位置和目标位置有两处差异. 第一, 源文件Basenames的所有者和组 与 目标文件不同, 第一Dirnames文件大小也不一样.

现在让我们来看看rsync会怎样显示这些差异

输出信息只在相应文件前面显示了9个字母来标识改变, 这些字母具体是什么意思呢? 请参考以下详细说明

rsync 可以使用--include 和 --exclude 选项结合通配符进行文件或文件夹过滤

在上面的示例中, 仅仅以P打头的文件和文件夹被包含了进来, 其他的文件都被过滤在拷贝的过程中被排除在外了.

可以使用--max-size 告诉rsync 不要拷贝大小超过某个值的文件, 可以使用K, M, G指定文件大小, M for megabytes and G for gigabytes.

rsync 有个重要优点就是, 可以做到在拷贝的过程中, 只拷贝发生变化了的部分, 而不是发送整个文件.

但是在某些场景中, 比如文件较少, 文件size较小时, 我们的带宽又足够大, cpu资源相对又贫乏, 我们不希望它这样做, 因为毕竟计算源端和目标端的checksum, 并做对比, 也需要额外cpu开销. 这时我们可以使用 -W, --whole-file 选项, 让rsync不用计算那么多, 一上来就直接开始传送文件. 我们可以像下面这么做.

15个Rsync命令实例

---