从Linux上载10,000,000个文件到Azure blob存储

概述我有一些S3的经验,并且在过去使用过s3-parallel-put来放置许多(数百万)个小文件.与Azure相比,S3的PUT价格昂贵,所以我想切换到Azure. 但是,我似乎无法弄清楚如何使用azure cli将本地目录同步到远程容器.特别是,我有以下问题： 1- aws客户端提供同步选项.天蓝有这样的选择吗？ 2-我可以使用cli同时将多个文件上传到Azure存储吗？我注意到有一个-concu 我有一些S3的经验,并且在过去使用过s3-parallel-put来放置许多(数百万)个小文件.与Azure相比,S3的PUT价格昂贵,所以我想切换到Azure.

但是,我似乎无法弄清楚如何使用azure cli将本地目录同步到远程容器.特别是,我有以下问题：

1- aws客户端提供同步选项.天蓝有这样的选择吗？

2-我可以使用cli同时将多个文件上传到Azure存储吗？我注意到有一个-concurrenttaskcount标志用于azure存储blob上传,所以我认为原则上它必须是可能的.

解决方法 如果您更喜欢命令行并拥有最近的 Python解释器,那么Azure批处理和HPC团队已经发布了一个代码示例,其中包含一些 AzCopy-like functionality on Python called blobxfer.这允许完整的递归目录进入Azure存储以及完整的容器副本返回到本地存储. [完全披露：我是此代码的撰稿人]

回答你的问题：

> blobxfer支持使用MD5校验和比较入口和出口的类似rsync的 *** 作> blobxfer在单个文件和多个文件中执行并发 *** 作.但是,您可能希望在多个目录和容器之间拆分输入,这不仅有助于减少脚本中的内存使用量,而且还可以更好地划分负载

总结

以上是内存溢出为你收集整理的从Linux上载10,000,000个文件到Azure blob存储全部内容，希望文章能够帮你解决从Linux上载10,000,000个文件到Azure blob存储所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。