Linux删除文件内重复行

第一，用sort+uniq，注意，单纯uniq是不行的。

第二，用sort+awk命令，注意，单纯awk同样不行，原因同上。

第三，用sort+sed命令，同样需要sort命令先排序。

以上原理都是上下行比对，如果中间开了几行，uniq就不生效

例如：

111

222

111

是不能正确排序的，必须是：

111

111

222

uniq才会生效，所以都需要先用sort 来排序，然后将结果输出到其他文件。

用uniq，如下，将

1.txt

中

所有

"相邻"

重复行合并成一行，结果存入

2.txt

uniq

1.txt

>

2.txt如果是想将相邻重复行彻底删掉（而不是合并成一行），可以用

uniq

-u

1.txt

>

2.txt

---