Rsync庞大的小文件数据集5TB,M小文件

概述我遇到一种情况,即app server misconfig导致创建大约5TB数据集,其中每个dir包含大量小文件. 我们正在传输文件并更改应用程序,但rsync在传输数据时失败.它甚至在本地驱动器之间本地也会失败.我设法一夜之间只复制3.5G！ 我试图改变rsync开关,但仍然没有运气. 以下是当前在服务器上运行的没有任何进度指示的内容： rsync -avhWc –no-compress –pr 我遇到一种情况,即app server misconfig导致创建大约5TB数据集,其中每个dir包含大量小文件.
我们正在传输文件并更改应用程序,但rsync在传输数据时失败.它甚至在本地驱动器之间本地也会失败.我设法一夜之间只复制3.5G！
我试图改变rsync开关,但仍然没有运气.
以下是当前在服务器上运行的没有任何进度指示的内容：
rsync -avhWc –no-compress –progress源目标
有人建议使用gigasync,但 github和网站不可用.
任何人都可以建议传输文件的方法吗？
感谢任何帮助解决方法 试试xargs rsync：

find . -type f -print0 | xargs -J % -0 rsync -aP % user@host:some/dir/

您可以使用-n控制每次调用rsync作为源传递的文件数
例如.在每个rsync复制200个文件：

find . -type f -print0 | xargs -n 200 -J % -0 rsync -aP % user@host:some/dir/

如果它太慢,您可以与-P选项并行运行多个rsync副本：

find . -type f -print0 | xargs -P 8 -n 200 -J % -0 rsync -aP % user@host:some/dir/

这将并行启动8个rsync副本.

总结

以上是内存溢出为你收集整理的Rsync庞大的小文件数据集5TB,M小文件全部内容，希望文章能够帮你解决Rsync庞大的小文件数据集5TB,M小文件所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。