rsync实现windows环境下的数据同步（转）

本文链接

https://www.cnblogs.com/loong-hon/p/13177422.html

四：客户端同步服务端数据

客户端安装类似服务端一直下一步就行

rsync.exe -avz --progress --password-file=rsync.password testwin_rsync@172.19.56.86::testwin /cygdrive/d/ftpdata

rsync.exe -avz --progress --password-file=rsync.pass /cygdrive/d/ftpdata testwin_rsync@172.19.56.86::testwin

这个是把客户端client文件同步到服务端server

注意：客户端执行的时候要在客户端的bin目录下，还有一种方式可以配环境变量

同步的时候conf中配置的需要同步的目录设置共享，然后将创建的testwin_rsyncy用户也共享此文件夹。

D:\cwRsync2\bin\rsync.exe -vrtopg --exclude=desktop.ini --exclude=Desktop.ini --exclude=Thumbs.db --exclude=RECYCLER --progress --password-file=etc/pwd.conf qbanke@192.168.3.3::Documents/ /cygdrive/e/Documents

D:\cwRsync2\bin\rsync.exe -vrtopg --exclude=desktop.ini --exclude=Desktop.ini --exclude=Thumbs.db --exclude=RECYCLER --progress --password-file=etc/pwd.conf /cygdrive/e/Documents qbanke@192.168.3.3::Documents

#意思是

#执行 d:\rsync_Kaiser\bin\rsync.exe

# -vrtopg 这个是运行参数, 可以查看下边的参数列表。

# -exclude=desktop.ini --exclude=Desktop.ini --exclude=Thumbs.db --exclude=RECYCLER 这些也是运行参数, 意思是把=号后边的文件屏蔽掉,不做同步.

# --progress 在程序执行的时候屏幕窗口上显示详细的运作信息,例如整在同步那个文件,速度多少。

# -password-file=etc/pwd.conf 跟服务器端一样,指定密码文件的路径,以便在自动运行的时候不用手动来输入.

# /cygdrive/e/Documents qbanke@192.168.3.3::Documents本地文件夹 e:\ 盘上Documents所有的内容(路径自己根据不情况进行修改)将和 服务端ip地址192.168.3.3 的 Documents 存储目录同步。

如果出现任何错，最大一个可能第一是权限没弄好，目录的，密码文件的。

第二就是配置有误，客户端的没跟服务器的对应好，账号或者存储目录名。

Rsync 的服务端配置里头的储存目录不止写一个的,还可以添加多个存放不同的文件夹或者不同的硬盘

-v, --verbose 详细模式输出

-q, --quiet 精简输出模式

-c, --checksum 打开校验开关，强制对文件传输进行校验

-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD

-r, --recursive 对子目录以递归模式处理

-R, --relative 使用相对路径信息

-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。

--backup-dir 将备份文件(如~filename)存放在在目录下。

-suffix=SUFFIX 定义备份文件前缀

-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)

-l, --links 保留软链结

-L, --copy-links 想对待常规文件一样处理软链结

--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结

--safe-links 忽略指向SRC路径目录树以外的链结

-H, --hard-links 保留硬链结

-p, --perms 保持文件权限

-o, --owner 保持文件属主信息

-g, --group 保持文件属组信息

-D, --devices 保持设备文件信息

-t, --times 保持文件时间信息

-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间

-n, --dry-run现实哪些文件将被传输

-W, --whole-file 拷贝文件，不进行增量检测

-x, --one-file-system 不要跨越文件系统边界

-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节

-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步

--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息

-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件

--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件

--delete 删除那些DST中SRC没有的文件

--delete-excluded 同样删除接收端那些被该选项指定排除的文件

--delete-after 传输结束以后再删除

--ignore-errors 及时出现IO错误也进行删除

--max-delete=NUM 最多删除NUM个文件

--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输

--force 强制删除目录，即使不为空

--numeric-ids 不将数字的用户和组ID匹配为用户名和组名

--timeout=TIME IP超时时间，单位为秒

-I, --ignore-times 不跳过那些有同样的时间和长度的文件

--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间

--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0

-T --temp-dir=DIR 在DIR中创建临时文件

--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份

-P 等同于 --partial

--progress 显示备份过程

-z, --compress 对备份的文件在传输时进行压缩处理

--exclude=PATTERN 指定排除不需要传输的文件模式

--include=PATTERN 指定不排除而需要传输的文件模式

--exclude-from=FILE 排除FILE中指定模式的文件

--include-from=FILE 不排除FILE指定模式匹配的文件

--version 打印版本信息

--address 绑定到特定的地址

--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件

--port=PORT 指定其他的rsync服务端口

--blocking-io 对远程shell使用阻塞IO

-stats 给出某些文件的传输状态

--progress 在传输时现实传输过程

--log-format=formAT 指定日志文件格式

--password-file=FILE 从FILE中得到密码

--bwlimit=KBPS 限制I/O带宽，KBytes per second

-h, --help 显示帮助信息

参考地址： https://www.iteye.com/blog/netsky-cheng-1187298

相关链接

简单两步实现 rsync 自动同步文件免密

https://blog.csdn.net/ot512csdn/article/details/107613205

Rsync 数据同步工具应用指南

https://zhuanlan.zhihu.com/p/40022680

2、--include 一般结合 --exclude 一起用。--include 的作用是指定需要传输的内容。但是单纯的用 --include 并不能如我所愿的结果。因为单纯的 --include 没有起到只传输我想要的文件，而是把源目录的所有数据传输到目标目录。

--include 和 --exclude 搭档，--exclude 是起到排除的功能， 也就是当 --include 指定了我们所需要传输的数据时，通过 --exclude 排除其他内容的传输。这样就可以完成指定什么数据需要传输，其他不在范围内的数据都不传输。

下面是单纯的用 --include 指定传输 SRC 目录下所有结尾为 .txt 的文件效果。 单纯的用 --include 没有起到只传输我想要的文件，而是把源目录的所有数据传输到目标目录。

3、传输 office_directory 目录及文件。

4、传输 SRC 目录下的所有 txt 到 backups_include 目录（含子目录及内容）。

分析思路：

5、如果只想传输 .txt 结尾的文件到 backups_include 目录，不想传输子目录文件夹。可用发送方，也就是源目录的路径进行控制。

分析思路：

6、传输多个二级目录及文件。

7、传输三级目录及文件原理也是一样。通过 --include 把目录和目录下 *.txt 文件类型标识清楚。以传输 SRC 目录下的三级目录及所有 .txt 文件为例：

8、传输 SRC 目录下的所有 .txt 文件（不含目录）到 backups_include 目录。

9、优化 例 8 语句

10、指定传输某些文件。

11、指定传输某字母或单词开头的目录或文件。

12、指定传输含有某字母或单词的文件。

13、指定传输某字母或单词结尾的文件。

14、指定多个传输条件可以用 { } 大扩号把条件括起来，条件与条件之间用 ，逗号分隔开。只用一个 --include参数。可进步一步优化语句，避免臃肿。

rsync 就是远程同步的意思remote sync.

rsync 被用在UNIX / Linux执行备份 *** 作 *** 作.

rsync 工具包被用来从一个位置到另一个位置高效地同步文件和文件夹. rsync可以实现在同一台机器的不同文件直接备份,也可以跨服务器备份.

rsync 语法如下

从语法结构我们可以看出, 源和目标即可以在本地也可以在远端. 如果是远端的话,需要指明登录用户名, 远端服务器名, 和远端文件或目录. 同时源可以是多个, 目标位置只能是一个.

说明:

-z: --compress 使用压缩机制

-v: --verbose 打印详细信息

-r: --recursive 以递归模式同步子目录

注意: 同步完成后, 我们会发现文件的时间戳timestamps发生了改变.

有时我们希望拷贝或同步时, 时间戳不要发生变化, 源文件是什么时间戳,目标文件就是什么时间戳, 这时我们需要使用 -a --archive 归档模式选项. -a 选项相当于7个选项的组合 -rlptgoD

-r, --recursive: 递归模式Recursive mode

-l, --links: 将符号链接当作符号链接文件拷贝, 不拷贝符合链接指向的文件内容.

-p, --perms: 保留文件权限

-t, --times: 保留修改时间戳

-g, --group: 保留用户组信息

-o, --owner: 保留用户信息(需要超级用户权限)

-D, 相当于 --devices --specials 的组合, 保留设备文件, 保留特殊文件.

同步完成后, 我们再来看文件属性, 时间戳信息得到了保留, 不仅如此文件的所有者 和所在组也得到保留.

说明: Pubkeys 是一个普通文件

使用rsync, 也可以从本地拷贝多个文件或目录到远端, 以下即为示例:

注意:

与本地文件拷贝不同的地方在于, 当拷贝文件到远程服务器时, 我们指定远程主机上的用户名, 服务器地址, 路径等信息, 类是于使用scp命令拷贝, 如果没有设置ssh免密码登录我们还需要提供远程用户的密码等信息.有时你不想频繁输入密码, 或者rsync运行在一个无人执守的脚本里面, 这是需要预先设置ssh免密登录, 或者使用结合expect命令,自动输入密码, 但是出于安全考虑, 密码需要加密. 所以在条件许可的情况下, 还是推荐设置ssh免密登录.

与示例 4 稍有不同, 这时远端目录或文件作为源位置, 本地目录或文件作为目标位置, 示例如下:

rsync 允许指定远程主机上运行shell命令.

这时需要使用 -e 选项:

-e, --rsh=COMMAND 指定远端使用的shell命令

Use rsync -e ssh to specify which remote shell to use. In this case, rsync will use ssh.

在一下特殊的使用场景中, 我们不希望拷贝文件时, 我们不希望拷贝过程覆盖掉目标位置中用户做出的修改. 这时我们需要使用 -u 选项明确的告诉rsync命令保留用户在目标文件中作出的修改. 在下面的例子中, 文件Basenames是用户基于上次的拷贝, 修改过的文件, 当我们使用了-u 选项后, 该文件中的修改将不会被覆盖掉.

在某些特殊场景中, 我们只需要远程服务器上的目录结构, 而不希望花大量时间, 带宽拷贝文件内容, 这时我们可以使用 -d, --dirs选项来达到目的.

有时我们希望拷贝文件时, 能实时的显示拷贝进度, 以及传输速率等信息. 尤其是拷贝大文件时, 程序不输出信息, 用户往往无法区分程序是在响应中, 还是已经挂起, 在这种情况下如果使用 –progress 就会非常有帮助.

rsync –progress option displays detailed progress of rsync execution as shown below.

你也可以使用rsnapshot工具 (rsnapshot会调用rsync)来备份本地linux服务器, 或者备份远程linux服务器.

有时我们希望目标文件和源文件保持严格一致, 不要多文件也不要少文件, 这是我们可能需要使用 -delete 选项来达到目的. 如果使用 -delete 选项, rsync将删除目标位置多余的文件或文件夹. 此选项还可以结合--delete-excluded 选项一起使用, 添加一些例外的文件.

上述示例中, new-file.txt 是源文件中没有的文件, 其将会在拷贝时被删除掉.

在某些特殊的场景下, 我们只想更新, 目标位置已经存在的文件或目录, 而不关心源位置的新文件, 这时我们可以使用-existing 选项仅仅更新已经存在的文件.

让我们来验证一下这个选项的功能, 首先在源端添加一个新文件 new-file.txt.

从上面的例子可以看到, 由于加了--existing选项新文件new-file.txt没有被拷贝到目标位置

选项-i, --itemize-changes 非常有用, 当我们想了解目标位置和源位置的文件差异时.

在源端:

在目标端:

注意: 在上面的例子中, 源位置和目标位置有两处差异. 第一, 源文件Basenames的所有者和组 与 目标文件不同, 第一Dirnames文件大小也不一样.

现在让我们来看看rsync会怎样显示这些差异

输出信息只在相应文件前面显示了9个字母来标识改变, 这些字母具体是什么意思呢? 请参考以下详细说明

rsync 可以使用--include 和 --exclude 选项结合通配符进行文件或文件夹过滤

在上面的示例中, 仅仅以P打头的文件和文件夹被包含了进来, 其他的文件都被过滤在拷贝的过程中被排除在外了.

可以使用--max-size 告诉rsync 不要拷贝大小超过某个值的文件, 可以使用K, M, G指定文件大小, M for megabytes and G for gigabytes.

rsync 有个重要优点就是, 可以做到在拷贝的过程中, 只拷贝发生变化了的部分, 而不是发送整个文件.

但是在某些场景中, 比如文件较少, 文件size较小时, 我们的带宽又足够大, cpu资源相对又贫乏, 我们不希望它这样做, 因为毕竟计算源端和目标端的checksum, 并做对比, 也需要额外cpu开销. 这时我们可以使用 -W, --whole-file 选项, 让rsync不用计算那么多, 一上来就直接开始传送文件. 我们可以像下面这么做.

15个Rsync命令实例

---