备份 – 通过不可靠,慢速WAN进行ZFS同步. ZFS复制还是rsync？

概述我的任务是通过WAN进行异地备份.两个存储盒都是基于FreeBSD的运行ZFS的NAS盒. 每周一到两次,15-60演出的摄影数据被倾倒到办公室NAS.我的工作是弄清楚如何使用非常慢的DSL连接(~700Kb / s上传)尽可能可靠地获取这些数据.接收盒的形状要好得多,速度为30Mb / s,速度为5Mb / s. 我知道,在场外携带硬盘会更快地移动数据,但在这种情况下它不是一个选项. 我的选择似 我的任务是通过WAN进行异地备份.两个存储盒都是基于FreeBSD的运行ZFS的NAS盒.

每周一到两次,15-60演出的摄影数据被倾倒到办公室NAS.我的工作是弄清楚如何使用非常慢的DSL连接(~700Kb / s上传)尽可能可靠地获取这些数据.接收盒的形状要好得多,速度为30Mb / s,速度为5Mb / s.

我知道,在场外携带硬盘会更快地移动数据,但在这种情况下它不是一个选项.

我的选择似乎是：

> ZFS增量发送超过ssh
> Rsync

rsync是一个历史悠久的解决方案,并且具有在某些内容被中断时恢复发送的非常重要的能力.它的缺点是遍历许多文件而不知道重复数据删除.

ZFS快照发送可能传输少量数据(它可以更多地了解文件系统,可以执行重复数据删除,可以比rsync更有效地打包元数据更改)并且具有正确复制文件系统状态的优势,而不是简单地复制单独的文件(磁盘密集程度更高).

我担心ZFS复制性能[1](虽然那篇文章已经有一年了).我还担心如果出现故障,能够重新启动转移 – 快照功能似乎不包括这一点.整个系统需要完全放手.

[1] http://wikitech-static.wikimedia.org/articles/z/f/s/Zfs_replication.html

使用任一选项,我都应该能够通过路由指定端口,然后使用路由器上的QOS来确定流量的优先级.我需要避免在每次转移过程中对两个站点的用户造成重大负面影响,因为这需要几天时间.

所以……这是我对这个问题的看法.我错过了任何好的选择吗？有没有其他人设置类似的东西？

解决方法 >如果您每天最多可以转移6GB(假设零开销和零竞争流量)并且您需要以“每周一次或两次”的频率移动“15-60演出”,那么可以达到15-每周120 GB,或每天2-17 GB.因为有必要规划峰值需求,并且17 GB远远超过理论最大值6 GB,所以很可能会出现非常严重的带宽问题.升级连接需要什么？如果无法升级连接,请考虑按计划(例如每周)邮寄物理媒体的选项. >假设你可以让带宽数学更有意义,rsync可能是最好的选择.复制高度冗余数据(例如虚拟机图像)时,重复数据删除意识非常有价值,但当涉及到独特的数字内容(音频,视频,照片)时,重复数据删除应该很少或没有任何好处……当然,除非用户是无意中存储了相同文件的重复副本. 总结

以上是内存溢出为你收集整理的备份 – 通过不可靠,慢速WAN进行ZFS同步. ZFS复制还是rsync？全部内容，希望文章能够帮你解决备份 – 通过不可靠,慢速WAN进行ZFS同步. ZFS复制还是rsync？所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。