方法很多,说一个最简单的。
先建一个表,结构和原来的表一样,但是在你要去重的列建立一个主键,并设置“忽略重复键”,把原表中的所有数据插入这个新表,
此时新表中的数据就已经是非重复的了。
把原表数据都删掉,把新表中的数据都导回来就ok了
有两个意义上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。
1、对于第一种重复,比较容易解决,使用
select distinct from tableName
就可以得到无重复记录的结果集。
如果该表需要删除重复的记录(重复记录保留1条),可以按以下方法删除
复制代码代码如下:
select distinct into #Tmp from tableName
drop table tableName
select into tableName from #Tmp
drop table #Tmp
发生这种重复的原因是表设计不周产生的,增加唯一索引列即可解决。
2、这类重复问题通常要求保留重复记录中的第一条记录, *** 作方法如下
假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集
复制代码代码如下:
select identity(int,1,1) as autoID, into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
select from #Tmp where autoID in(select autoID from #tmp2)
--按某一字段分组取最大(小)值所在行的数据
/
数据如下:
name val memo
a 2 a2(a的第二个值)
a 1 a1--a的第一个值
a 3 a3:a的第三个值
b 1 b1--b的第一个值
b 3 b3:b的第三个值
b 2 b2b2b2b2
b 4 b4b4
b 5 b5b5b5b5b5
/
--创建表并插入数据:
create table tb(name varchar(10),val int,memo varchar(20))
insert into tb values('a', 2, 'a2(a的第二个值)')
insert into tb values('a', 1, 'a1--a的第一个值')
insert into tb values('a', 3, 'a3:a的第三个值')
insert into tb values('b', 1, 'b1--b的第一个值')
insert into tb values('b', 3, 'b3:b的第三个值')
insert into tb values('b', 2, 'b2b2b2b2')
insert into tb values('b', 4, 'b4b4')
insert into tb values('b', 5, 'b5b5b5b5b5')
go
--一、按name分组取val最大的值所在行的数据。
--方法1:
select a from tb a where val = (select max(val) from tb where name = aname) order by aname
--方法2:
select a from tb a where not exists(select 1 from tb where name = aname and val > aval)
--方法3:
select a from tb a,(select name,max(val) val from tb group by name) b where aname = bname and aval = bval order by aname
--方法4:
select a from tb a inner join (select name , max(val) val from tb group by name) b on aname = bname and aval = bval order by aname
--方法5
select a from tb a where 1 > (select count() from tb where name = aname and val > aval ) order by aname
/
name val memo
---------- ----------- --------------------
a 3 a3:a的第三个值
b 5 b5b5b5b5b5
/
--二、按name分组取val最小的值所在行的数据。
--方法1:
select a from tb a where val = (select min(val) from tb where name = aname) order by aname
--方法2:
select a from tb a where not exists(select 1 from tb where name = aname and val < aval)
--方法3:
select a from tb a,(select name,min(val) val from tb group by name) b where aname = bname and aval = bval order by aname
--方法4:
select a from tb a inner join (select name , min(val) val from tb group by name) b on aname = bname and aval = bval order by aname
--方法5
select a from tb a where 1 > (select count() from tb where name = aname and val < aval) order by aname
/
name val memo
---------- ----------- --------------------
a 1 a1--a的第一个值
b 1 b1--b的第一个值
/
--三、按name分组取第一次出现的行所在的数据。
select a from tb a where val = (select top 1 val from tb where name = aname) order by aname
/
name val memo
---------- ----------- --------------------
a 2 a2(a的第二个值)
b 1 b1--b的第一个值
/
--四、按name分组随机取一条数据。
select a from tb a where val = (select top 1 val from tb where name = aname order by newid()) order by aname
/
name val memo
---------- ----------- --------------------
a 1 a1--a的第一个值
b 5 b5b5b5b5b5
/
--五、按name分组取最小的两个(N个)val
select a from tb a where 2 > (select count() from tb where name = aname and val < aval ) order by aname,aval
select a from tb a where val in (select top 2 val from tb where name=aname order by val) order by aname,aval
select a from tb a where exists (select count() from tb where name = aname and val < aval having Count() < 2) order by aname
/
name val memo
---------- ----------- --------------------
a 1 a1--a的第一个值
a 2 a2(a的第二个值)
b 1 b1--b的第一个值
b 2 b2b2b2b2
/
--六、按name分组取最大的两个(N个)val
select a from tb a where 2 > (select count() from tb where name = aname and val > aval ) order by aname,aval
select a from tb a where val in (select top 2 val from tb where name=aname order by val desc) order by aname,aval
select a from tb a where exists (select count() from tb where name = aname and val > aval having Count() < 2) order by aname
/
name val memo
---------- ----------- --------------------
a 2 a2(a的第二个值)
a 3 a3:a的第三个值
b 4 b4b4
b 5 b5b5b5b5b5
/
--七,如果整行数据有重复,所有的列都相同。
/
数据如下:
name val memo
a 2 a2(a的第二个值)
a 1 a1--a的第一个值
a 1 a1--a的第一个值
a 3 a3:a的第三个值
a 3 a3:a的第三个值
b 1 b1--b的第一个值
b 3 b3:b的第三个值
b 2 b2b2b2b2
b 4 b4b4
b 5 b5b5b5b5b5
/
--在sql server 2000中只能用一个临时表来解决,生成一个自增列,先对val取最大或最小,然后再通过自增列来取数据。
--创建表并插入数据:
create table tb(name varchar(10),val int,memo varchar(20))
insert into tb values('a', 2, 'a2(a的第二个值)')
insert into tb values('a', 1, 'a1--a的第一个值')
insert into tb values('a', 1, 'a1--a的第一个值')
insert into tb values('a', 3, 'a3:a的第三个值')
insert into tb values('a', 3, 'a3:a的第三个值')
insert into tb values('b', 1, 'b1--b的第一个值')
insert into tb values('b', 3, 'b3:b的第三个值')
insert into tb values('b', 2, 'b2b2b2b2')
insert into tb values('b', 4, 'b4b4')
insert into tb values('b', 5, 'b5b5b5b5b5')
go
select , px = identity(int,1,1) into tmp from tb
select mname,mval,mmemo from
(
select t from tmp t where val = (select min(val) from tmp where name = tname)
) m where px = (select min(px) from
(
select t from tmp t where val = (select min(val) from tmp where name = tname)
) n where nname = mname)
drop table tb,tmp
/
name val memo
---------- ----------- --------------------
a 1 a1--a的第一个值
b 1 b1--b的第一个值
(2 行受影响)
/
--在sql server 2005中可以使用row_number函数,不需要使用临时表。
--创建表并插入数据:
create table tb(name varchar(10),val int,memo varchar(20))
insert into tb values('a', 2, 'a2(a的第二个值)')
insert into tb values('a', 1, 'a1--a的第一个值')
insert into tb values('a', 1, 'a1--a的第一个值')
insert into tb values('a', 3, 'a3:a的第三个值')
insert into tb values('a', 3, 'a3:a的第三个值')
insert into tb values('b', 1, 'b1--b的第一个值')
insert into tb values('b', 3, 'b3:b的第三个值')
insert into tb values('b', 2, 'b2b2b2b2')
insert into tb values('b', 4, 'b4b4')
insert into tb values('b', 5, 'b5b5b5b5b5')
go
select mname,mval,mmemo from
(
select , px = row_number() over(order by name , val) from tb
) m where px = (select min(px) from
(
select , px = row_number() over(order by name , val) from tb
) n where nname = mname)
drop table tb
/
name val memo
---------- ----------- --------------------
a 1 a1--a的第一个值
b 1 b1--b的第一个值
(2 行受影响)
/
1查询出重复记录
select 重复记录字段 form 数据表 group by houseno having count(重复记录字段)>1
2重复记录只显示一条ID值最小或最大的记录
select id, from 数据表 where houseno (select 重复记录字段 form 数据表 group by 重复记录
字段 having count(重复记录字段)>1 )
这样把houseno重复的的ID值全部显示出,那么我们如何只显示一条id最小或最大的记录呢?
关键是在上面sql的where子句中select 重复记录字段 form 数据表 group by 重复记录字段 having count(
重复记录字段)>1
修改为
select min(id) form 数据表 group by 重复记录字段 having count(重复记录字段)>1
这样就查询重复记录字段中ID最小值
那么上面的语句就是
select id, from 数据表 where houseno (select min(id) form 数据表 group by 重复记录字段
having count(重复记录字段)>1 )
3至于对重复记录执行delete update 就非常简单啦
例如只保留最小id的一条
delete 数据表 where id in (select max(id ) from 数据包 group by 重复记录字段 having count(重复记录字段)>1)
update *** 作不说啦都一样。
4group by 字段 having count与distinct的区别
distct查询显示全部字段值都是一样的唯一,一条记录
例如
id name sex
43 111 1
44 111 1
45 111 2
46 222 2
47 222 2
48 333 1
49 333 1
SELECT distinct
[name]
,[sex]
FROM [database][dbo][a]
要想实现上面的要去掉 sex字段 改成
SELECT distinct
[name]
FROM [database][dbo][a]
但要想取得重复ID最小值不建议用distinct。
总结:
对于重复记录关键是查出 :采用group by 字段 having count(字段)>1
取得最小id的一条(很关键) :采用min(id)
首先删除一张表中可能存在的重复数据:\x0d\delete from 表 where 字段1 in\x0d\(select 字段1 from \x0d\ (select 字段1,row_number() over (partition by 字段1 order by 字段2 desc) rn from 表)\x0d\where rn>1);\x0d\以上字段1为需要删除的依据字段,比如说你需要删除重复的邮箱,那么字段1表示邮箱,而字段2是按照顺序你需要保留的记录,比如说按照时间排序,保留时间最近的那个邮箱。\x0d\\x0d\删除一张表中的另一个表中已经存在的记录\x0d\delete from 表1 where exists\x0d\(selete 1 from 表2 where 表1字段=表2字段);
以上就是关于数据库中怎么删除重复的记录,只保留唯一的记录全部的内容,包括:数据库中怎么删除重复的记录,只保留唯一的记录、ACCESS数据库内如何去除某字段重复记录、数据库怎么去某一字段的重复数据等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)