mysql 多个字段有重复数据， 我需要进行去重处理

过滤重复数据

有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。

如果你需要读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。

你也可以使用 GROUP BY 来读取数据表中不重复的数据：

资料来源：树懒学堂

方法有很多，这里介绍两种

方法一、

如果要保留id的最小值，例如：

数据：

执行sql:select count(*) as count ,name,id from ceshi group by name

&ampltimg

最后要删除的sql为：delete from ceshi where id not in (select count(*) as count ,name,id from ceshi group by name)

如果想保留id的最大值：

简单的办法是：delete from ceshi where id not in (select count(*) as count ,name,id from (select * from ceshi order by id desc) group by name)

如果想要删除的是两个列里面对应相同的数据，也就是说表里面有两条记录的name都是admin，要是只想保留其中一条的话，order by 的时候增加一个值即可，例如：

delete from ceshi where id not in (select count(*) as count ,name,id from ceshi group by name,email)

方法二、

只需要把你这张表当成两张表来处理就行了。

DELETE p1 from TABLE p1, TABLE p2 WHERE p1.name = p2.name AND p1.email = p2.email AND p1.id <p2.id

这里有个问题，保留最新的那一条（也就是ID最小的那个）

上面的的语句，p1.id <p2.id，所以获取到的是id最大的，因为p1.id小于p2.id就会被删除，只有最大的值不满足。如果要获取id最小的那个，只需要把'<'改成'>'即可。

当然是用group by，count可以更精准控制重复n次的情况。

MySQL查询重复字段,及删除重复记录的方法

数据库中有个大表，需要查找其中的名字有重复的记录id，以便比较。如果仅仅是查找数据库中name不重复的字段，很容易:

SELECT min(`id`),`name` FROM `table` GROUP BY `name`

但是这样并不能得到说有重复字段的id值。（只得到了最小的一个id值）查询哪些字段是重复的也容易:

SELECT `name`,count(`name`) as count FROM `table` GROUP BY `name` HAVING count(`name`) >1 ORDER BY count DESC

但是要一次查询到重复字段的id值，就必须使用子查询了，于是使用下面的语句。

SELECT `id`,`name` FROM `table` WHERE `name` in (

SELECT `name`

FROM `table`

GROUP BY `name` HAVING count(`name`) >1)

但是这条语句在mysql中效率太差，感觉mysql并没有为子查询生成零时表。于是使用先建立零时表:

create table `tmptable` as (

SELECT `name`

FROM `table`

GROUP BY `name` HAVING count(`name`) >1)

---