数据库sql去重

1 去重

1.1 查询

1.1.1 存在部分字段相同的纪录，即有唯一键主键ID

最常见情况如果是这种情况的话用distinct是过滤不了的，这就要用到主键id的唯一性特点及group by分组

select * from table where id in (select max(id) from table group by [去除重复的字段名列表,....])

1.1.2 存在两条完全相同的记录用关键字distinct就可以去掉

select distinct id(某一列) from table(表名) where (条件)

1.1.3 查找表中不含重复的数据，根据单个字段（id）来判断

select * from table where id in (select id from table group by id having count (id) >1)

1.1.4 查找表中重复的数据，根据单个字段（id）来判断

select * from table where id not in (select id from table group by id having count (id) >1)

1.1.5 查询全部的重复信息

select * from people where id not in (select min(id) from people group by name,sex HAVING COUNT(*) <2)

1.1.6 查询全部的重复信息

select * from table where id not in (select MIN(id) from table group by name,sex)

1.1.7 删除多余重复的信息，只保留最小ID

delete from table where id not in(select MIN(id) from table group by name,sex)

b. 方法：

☆根据dname分组，查找出deptno最小的。然后再查找deptno不包含刚才查出来的。这样就查询出了所有的重复数据（除了deptno最小的那行）

方法2

删除重复的行

单个字段的如果会了，多个字段也非常简单。就是将group by 的字段增加为你想要的即可。

此处只写一个，其他方法请仿照一个字段的写即可。

查询结果不含指定字段重复

2.表需要删除重复的记录（重复记录保留1条），

3.查询重复

4.1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断

4.2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有rowid最小的记录

4.3、查找表中多余的重复记录（多个字段）

4.4、删除表中多余的重复记录（多个字段），只留有rowid最小的记录

4.5、查找表中多余的重复记录（多个字段），不包含rowid最小的记录

4.6.消除一个字段的左边的第一位：

4.7.消除一个字段的右边的第一位：

4.8.假删除表中多余的重复记录（多个字段），不包含rowid最小的记录

查询重复

1、打开要去掉重复数据的数据库，这里新建一张含有重复数据的user表做示例，如下图所示：

2、输入“select * from user where name in (select name from user group by name having count(name) >1) ”sql语句，点击运行可以看到查询出了数据库中user表的重复数据。

3、通过“delete from user where   name in (select name from user group by name  having count(name) >1) ”sql语句删除姓名重复的数据。

4、也可以通过“select distinct name from user”sql语句来去掉重复数据，这里去掉了张三的重复数据。

5、通过“select distinct class from user”sql语句来去掉班级相同的重复数据，如下图所示：

---