删除数据库中重复数据的几个方法

方法一

declare @max integer,@id integer

declare cur_rows cursor local for select 主字段,count() from 表名 group by 主字段 having count() > 1

open cur_rows

fetch cur_rows into @id,@max

while @@fetch_status=0

begin

select @max = @max -1

set rowcount @max

delete from 表名 where 主字段 = @id

fetch cur_rows into @id,@max

end

close cur_rows

set rowcount 0

方法二

有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。

1、对于第一种重复，比较容易解决，使用 select distinct from tableName 就可以得到无重复记录的结果集。

如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除

select distinct into #Tmp from tableName

drop table tableName

select into tableName from #Tmp

drop table #Tmp

发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。

2、这类重复问题通常要求保留重复记录中的第一条记录， *** 作方法如下：

假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集

select identity(int,1,1) as autoID, into #Tmp from tableName

select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID

select from #Tmp where autoID in(select autoID from #tmp2)

最后一个select即得到了Name，Address不重复的结果集（但多了一个autoID字段，实际写时可以写在select子句中省去此列）

1查询出重复记录

select 重复记录字段 form 数据表 group by houseno having count(重复记录字段)>1

2重复记录只显示一条ID值最小或最大的记录

select id， from 数据表 where houseno (select 重复记录字段 form 数据表 group by 重复记录

字段 having count(重复记录字段)>1 )

这样把houseno重复的的ID值全部显示出，那么我们如何只显示一条id最小或最大的记录呢？

关键是在上面sql的where子句中select 重复记录字段 form 数据表 group by 重复记录字段 having count(

重复记录字段)>1

修改为

select min(id) form 数据表 group by 重复记录字段 having count(重复记录字段)>1

这样就查询重复记录字段中ID最小值

那么上面的语句就是

select id， from 数据表 where houseno (select min(id) form 数据表 group by 重复记录字段

having count(重复记录字段)>1 )

3至于对重复记录执行delete update 就非常简单啦

例如只保留最小id的一条

delete 数据表 where id in (select max(id ) from 数据包 group by 重复记录字段 having count(重复记录字段)>1)

update *** 作不说啦都一样。

4group by 字段 having count与distinct的区别

distct查询显示全部字段值都是一样的唯一，一条记录

例如

id name sex

43 111 1

44 111 1

45 111 2

46 222 2

47 222 2

48 333 1

49 333 1

SELECT distinct

[name]

,[sex]

FROM [database][dbo][a]

要想实现上面的要去掉 sex字段 改成

SELECT distinct

[name]

FROM [database][dbo][a]

但要想取得重复ID最小值不建议用distinct。

总结：

对于重复记录关键是查出 ：采用group by 字段 having count(字段)>1

取得最小id的一条(很关键) :采用min（id）

--按某一字段分组取最大(小)值所在行的数据

/

数据如下：

name val memo

a 2 a2(a的第二个值)

a 1 a1--a的第一个值

a 3 a3:a的第三个值

b 1 b1--b的第一个值

b 3 b3:b的第三个值

b 2 b2b2b2b2

b 4 b4b4

b 5 b5b5b5b5b5

/

--创建表并插入数据：

create table tb(name varchar(10),val int,memo varchar(20))

insert into tb values('a', 2, 'a2(a的第二个值)')

insert into tb values('a', 1, 'a1--a的第一个值')

insert into tb values('a', 3, 'a3:a的第三个值')

insert into tb values('b', 1, 'b1--b的第一个值')

insert into tb values('b', 3, 'b3:b的第三个值')

insert into tb values('b', 2, 'b2b2b2b2')

insert into tb values('b', 4, 'b4b4')

insert into tb values('b', 5, 'b5b5b5b5b5')

go

--一、按name分组取val最大的值所在行的数据。

--方法1：

select a from tb a where val = (select max(val) from tb where name = aname) order by aname

--方法2：

select a from tb a where not exists(select 1 from tb where name = aname and val > aval)

--方法3：

select a from tb a,(select name,max(val) val from tb group by name) b where aname = bname and aval = bval order by aname

--方法4：

select a from tb a inner join (select name , max(val) val from tb group by name) b on aname = bname and aval = bval order by aname

--方法5

select a from tb a where 1 > (select count() from tb where name = aname and val > aval ) order by aname

/

name val memo

---------- ----------- --------------------

a 3 a3:a的第三个值

b 5 b5b5b5b5b5

/

--二、按name分组取val最小的值所在行的数据。

--方法1：

select a from tb a where val = (select min(val) from tb where name = aname) order by aname

--方法2：

select a from tb a where not exists(select 1 from tb where name = aname and val < aval)

--方法3：

select a from tb a,(select name,min(val) val from tb group by name) b where aname = bname and aval = bval order by aname

--方法4：

select a from tb a inner join (select name , min(val) val from tb group by name) b on aname = bname and aval = bval order by aname

--方法5

select a from tb a where 1 > (select count() from tb where name = aname and val < aval) order by aname

/

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 1 b1--b的第一个值

/

--三、按name分组取第一次出现的行所在的数据。

select a from tb a where val = (select top 1 val from tb where name = aname) order by aname

/

name val memo

---------- ----------- --------------------

a 2 a2(a的第二个值)

b 1 b1--b的第一个值

/

--四、按name分组随机取一条数据。

select a from tb a where val = (select top 1 val from tb where name = aname order by newid()) order by aname

/

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 5 b5b5b5b5b5

/

--五、按name分组取最小的两个(N个)val

select a from tb a where 2 > (select count() from tb where name = aname and val < aval ) order by aname,aval

select a from tb a where val in (select top 2 val from tb where name=aname order by val) order by aname,aval

select a from tb a where exists (select count() from tb where name = aname and val < aval having Count() < 2) order by aname

/

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

a 2 a2(a的第二个值)

b 1 b1--b的第一个值

b 2 b2b2b2b2

/

--六、按name分组取最大的两个(N个)val

select a from tb a where 2 > (select count() from tb where name = aname and val > aval ) order by aname,aval

select a from tb a where val in (select top 2 val from tb where name=aname order by val desc) order by aname,aval

select a from tb a where exists (select count() from tb where name = aname and val > aval having Count() < 2) order by aname

/

name val memo

---------- ----------- --------------------

a 2 a2(a的第二个值)

a 3 a3:a的第三个值

b 4 b4b4

b 5 b5b5b5b5b5

/

--七，如果整行数据有重复，所有的列都相同。

/

数据如下：

name val memo

a 2 a2(a的第二个值)

a 1 a1--a的第一个值

a 1 a1--a的第一个值

a 3 a3:a的第三个值

a 3 a3:a的第三个值

b 1 b1--b的第一个值

b 3 b3:b的第三个值

b 2 b2b2b2b2

b 4 b4b4

b 5 b5b5b5b5b5

/

--在sql server 2000中只能用一个临时表来解决，生成一个自增列，先对val取最大或最小，然后再通过自增列来取数据。

--创建表并插入数据：

create table tb(name varchar(10),val int,memo varchar(20))

insert into tb values('a', 2, 'a2(a的第二个值)')

insert into tb values('a', 1, 'a1--a的第一个值')

insert into tb values('a', 1, 'a1--a的第一个值')

insert into tb values('a', 3, 'a3:a的第三个值')

insert into tb values('a', 3, 'a3:a的第三个值')

insert into tb values('b', 1, 'b1--b的第一个值')

insert into tb values('b', 3, 'b3:b的第三个值')

insert into tb values('b', 2, 'b2b2b2b2')

insert into tb values('b', 4, 'b4b4')

insert into tb values('b', 5, 'b5b5b5b5b5')

go

select , px = identity(int,1,1) into tmp from tb

select mname,mval,mmemo from

(

select t from tmp t where val = (select min(val) from tmp where name = tname)

) m where px = (select min(px) from

(

select t from tmp t where val = (select min(val) from tmp where name = tname)

) n where nname = mname)

drop table tb,tmp

/

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 1 b1--b的第一个值

(2 行受影响)

/

--在sql server 2005中可以使用row_number函数，不需要使用临时表。

--创建表并插入数据：

create table tb(name varchar(10),val int,memo varchar(20))

insert into tb values('a', 2, 'a2(a的第二个值)')

insert into tb values('a', 1, 'a1--a的第一个值')

insert into tb values('a', 1, 'a1--a的第一个值')

insert into tb values('a', 3, 'a3:a的第三个值')

insert into tb values('a', 3, 'a3:a的第三个值')

insert into tb values('b', 1, 'b1--b的第一个值')

insert into tb values('b', 3, 'b3:b的第三个值')

insert into tb values('b', 2, 'b2b2b2b2')

insert into tb values('b', 4, 'b4b4')

insert into tb values('b', 5, 'b5b5b5b5b5')

go

select mname,mval,mmemo from

(

select , px = row_number() over(order by name , val) from tb

) m where px = (select min(px) from

(

select , px = row_number() over(order by name , val) from tb

) n where nname = mname)

drop table tb

/

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 1 b1--b的第一个值

(2 行受影响)

/

可以利用distinct关键字对需要处理的字段进行去重

使用group by关键字对去重数据进行去重查询，针对某个字段查询，直接group by 这个字段

在group by 的基础上 也可以使用 having 对查询结果进行二次筛选

MySQL 过滤重复数据

有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。

如果你需要读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。

from 树懒学堂- 一站式数据知识学习平台

你也可以使用 GROUP BY 来读取数据表中不重复的数据：

以上就是关于删除数据库中重复数据的几个方法全部的内容，包括:删除数据库中重复数据的几个方法、怎样去除sql server数据库中查询到的重复的记录、数据库怎么去某一字段的重复数据等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！