linux-networking – 传输大量的小文件

概述我将把两台带有大SAN附件的服务器迁移到我们的新VMWare环境中. 编辑：我必须提供一些额外的情报,因为我对VMWare解决方案有很好的答案. 好的,由于服务器上的某些技术限制,我无法在新系统上附加以前的EMC LUN. 我无法使用VMWare Converter来克隆新VM上丢失的卷,因为VMWare Converter无法看到EMC PowerPath伪设备,并且之前的管理员使用这些Pseu 我将把两台带有大SAN附件的服务器迁移到我们的新VMWare环境中.

编辑：我必须提供一些额外的情报,因为我对VMWare解决方案有很好的答案.

好的,由于服务器上的某些技术限制,我无法在新系统上附加以前的EMC LUN.

我无法使用VMWare Converter来克隆新VM上丢失的卷,因为VMWare Converter无法看到EMC PowerPath伪设备,并且之前的管理员使用这些Pseudo-device来构建LVM2和/或ASM卷.

这两台物理服务器连接到旧的EMC²CX-340 SAN,可处理5TB数据.

那些5TB的数据是小pdf,我需要通过我们的1Gbit / s LAN将它们传输到新机器.

我尝试过使用rsync,但它确实会减慢并对RAM和cpu性能产生很大影响.

我尝试使用带有TAR的NC,但传输速率非常慢,因为我在1Gbit / s链路上的平均吞吐量约为50MB / s,流量几乎为零.

您能否给我一些建议或回报这种迁移的经验,以及您如何设法在合理的时间内完成它？

解决方法 如果您真的需要一种快速传输文件的方法,并且两个系统都是基于 Linux的,那么您可以尝试 UDR.

这实际上是一种rsync-over-UDP(使用开源UDT framework),对于移动大量文件或通过高带宽或高延迟链接进行传输特别方便.此外,默认情况下禁用加密,因此RAM / cpu命中率低于传统rsync. SSH也不涉及.

我可以轻松地在目录树中使用1000万个小TIFF文件获得超过1Gbps的线速传输.

您的语法将略微修改rsync.所有rsync标志都需要出现在源/目标规范之前：

udr rsync -avP --stats --delete /data/ server2:/data/

易于构建……你需要g和openssl-devel：

git clone https://github.com/LabAdvComp/UDR.gitcd UDR/makecp src/udr /usr/local/bin/

在源和目的地上执行此 *** 作.

见：Possibility of WAN Optimization for SSH traffic

总结

以上是内存溢出为你收集整理的linux-networking – 传输大量的小文件全部内容，希望文章能够帮你解决linux-networking – 传输大量的小文件所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。