Linux数据归档、压缩、解压与提取指定文件

高通量数据分析过程中涉及的中间文件，在存储量允许的前提下，可以将其暂存备查。通常可以将这些文件归档或压缩后保存，并打上日期标签，长时间未使用的非重要数据可考虑删除以腾出存储空间。在此总结Linux系统常用的归档与压缩指令。

归档 即将多个文件（目录）打包为一个文件，但并不对文件进行压缩。

从归档文件中提取指定文件

从压缩文件中提取指定文件

参考：

1. Linux tar 命令

2. 如何从一个tar包中或者tar.gz包中提取某个文件

cat file1 file2 |sort|uniq -c |grep -v " 2 "|cut -d" " -f 2-

如果你的文件每行都是维一的可以这样处理.

grep -v 后面的 " 2 " 可以按着你的实际情况前面多加几个空格.

---