Linux系统sort和uniq命令联合使用

给定两个文件 a.txt 和 b.txt ，每行是一个记录（假设没有重复），要求输出两集合的交集、并集、差集，输出的结果只包括唯一项。

交集定义为同时出现在两个文件中的记录项；

并集定义为出现在任何一个文件中的记录项；

差集( A-B )定义为出现在A中而且不出现在B中的记录；

对称差集定义为只出现在一个文件中的记录；

假设 a.txt 包括 a, c, b 三行。假设 b.txt 包括 d, e, c, b 四行。

交集 ，把两个文件放到一起排序，只输出次数多于一次的项：

$ sort a.txt b.txt | uniq -d

并集 ，把两个文件放到一起排序，重复的项只算一次：

$ sort a.txt b.txt | uniq

差集(A-B) ，把B的元素重复2份和A的元素放到一起排序，只输出出现一次的项：

$ sort a.txt b.txt b.txt | uniq -u

对称差 ，把两个文件放到一起排序，只输出出现一次的项：

$ sort a.txt b.txt | uniq -u

指定分隔符（-t）及基于哪一列（-k）、基于数值（-n） 、逆序（-r）进行排序

#排序之后删除了重复行，同时在行首位置输出该行重复的次数：

执行命令：sort testfile | uniq -c ，输出结果如下

#仅显示存在重复的行，并在行首显示该行重复的次数：

执行命令：sort testfile | uniq -dc，输出结果如下

#仅显示没有重复的行：

执行命令：sort testfile | uniq -u，输出结果如下

uniq [选项] 文件说明：这个命令读取输入文件，并比较相邻的行。在正常情况下，第二个及以后更多个重复行将被删去，行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。输入文件和输出文件必须不同。如果输入文件用“- ”表示，则从标准输入读取。该命令各选项含义如下：、– c 显示输出中，在每行行首加上本行在文件中出现的次数。它可取代- u和- d选项。– d 只显示重复行。– u 只显示文件中不重复的各行。– n 前n个字段与每个字段前的空白一起被忽略。一个字段是一个非空格、非制表符的字符串，彼此由制表符和空格隔开(字段从0开始编号)。+n 前n个字符被忽略，之前的字符被跳过(字符从0开始编号)。– f n 与- n相同，这里n是字段数。– s n 与+n相同，这里n是字符数。接下来通过实践实例说明：复制代码代码如下:[root@stu100 ~]# cat testboy took bat homeboy took bat homegirl took bat homeboy took bat homeboy took bat homedog brought hat homedog brought hat homedog brought hat home看test文件的内容复制代码代码如下:[root@stu100 ~]# uniq testboy took bat homegirl took bat homeboy took bat homedog brought hat homeuniq命令不加任何参数，仅显示连续重复的行一次复制代码代码如下:[root@stu100 ~]# uniq -c test2 boy took bat home1 girl took bat home2 boy took bat home3 dog brought hat home1-c 参数显示文件中每行连续出现的次数。复制代码代码如下:[root@stu100 ~]# cat test |sort | uniq -c14 boy took bat home3 dog brought hat home1 girl took bat home排序后再显示复制代码代码如下:[root@stu100 ~]# uniq -d testboy took bat homeboy took bat homedog brought hat home-d选项仅显示文件中连续重复出现的行。复制代码代码如下:[root@stu100 ~]# uniq -u testgirl took bat home-u选项显示文件中没有连续出现的行。复制代码代码如下:[root@stu100 ~]# uniq -f 2 -s 2 testboy took bat home忽略每行的前2个字段，忽略第二 个空白字符和第三个字段的首字符，结果at home复制代码代码如下:[root@stu100 ~]# uniq -f 1 testboy took bat homedog brought hat home忽 略每行的第一个字段，这样boy ，girl开头的行看起来是连续重复的行。复制代码代码如下:[root@stu100 ~]# uniq -D testboy took bat homeboy took bat homeboy took bat homeboy took bat homedog brought hat homedog brought hat homedog brought hat home显示所有重复的行，每个重复的行都显示当你有一个包含相同条目的雇员(employee)的文件，你可以以如下方式来删除相同的条目复制代码代码如下:$ sort namesd.txt | uniq$ sort –u namesd.txt如果你想知道有多少行是相同的，可以像下面这个做。以下例子中的第一列显示该行的重复数量。在本例中，以Alex和Emma开头的行，在文件中有两个重复行。复制代码代码如下:$ sort namesd.txt | uniq –c2 Alex Jason:200:Sales2 Emma Thomas:100:Marketing1 Madison Randy:300:Product Development1 Nisha Singh:500:Sales1 Sanjay Gupta:400:Support3. 以下命令仅仅列出了相同的条目复制代码代码如下:$ sort namesd.txt | uniq –cd2 Alex Jason:200:Sales2 Emma Thomas:100:Marketing

---