linux下快速打包多线程压缩文件的方法

linux下快速打包多线程压缩文件的方法,第1张

文章目录 打包大量文件2. 多线程压缩文件2.1 与tar配合使用2.2 更多用法
今日遇到一个问题,就是把一个远程主机生成的10万个图片文件(训练集)传到kaggle。所以第一个遇到的问题,就是将这10万个图片打包。

打包大量文件

首先如果直接打包文件(非文件夹),会提示zip: Argument list too long。所以需要参照这篇博文使用find配合zip打包,发现开始速度很快,但是过了12小时居然还没结束(可能是因为远程主机的IO资源受限了,通过top命令查看cpu和mem占用并不大)。
后来又折腾了find配合tar命令:

find 200x100-4chars/  |xargs -i  tar -cvf 4chars2.tar {}

发现一个奇怪现象,当文件达到一定大小之后(应该是达到预计大小),控制台还在不断输出,但是目标文件大小突然变成0k-20k之间变化。
最后的解决方案是整个文件夹一起打包,1秒完成

tar -cf 文件夹
2. 多线程压缩文件

在这过程中,又发现了pigz这个支持多线程压缩的软件,所以一并将相关内容放这里。
安装:

sudo apt install pigz
2.1 与tar配合使用
# 打包压缩
tar --use-compress-program=pigz -cvpf XXX.tgz path/files
# 解压
tar --use-compress-program=pigz -xvpf XXX.tgz
2.2 更多用法
#用法: pigz [options] [files ...]
#-0 to -9, -11 : 压缩级别
#-p n : 指定压缩核心数,默认8个
#-k :压缩后保留原文件

#压缩文件
pigz -6 -p 10 -k filename
#压缩后生成 filename.gz文件

#压缩目录
tar cvf - /data/test | pigz -6 -p 10 -k > test.tar.gz

#自动选择最大线程打包压缩
tar -cvf - 文件夹1 文件夹2 | pigz -p $(nproc) > dstname.tar

#mac下使用:
tar -cvf - folder1 folder2 | pigz -p $(sysctl -n hw.ncpu) > dstname.tar

#解压文件
gzip -d filename.gz

#或者
pigz -d filename.gz

#解压目录
tar xvfz filename.tar.gz
#或者
pigz -d filename.tar.gz
#注:使用pigz解压后是一个tar

参考资料:

pigz快速压缩find 命令解决mv: invalid option – ‘E‘和Argument list too long问题Linux下如何快速打包大量文件

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/926765.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-05-16
下一篇 2022-05-16

发表评论

登录后才能评论

评论列表(0条)

保存