如何在数据库中查询出重复记录

如何在数据库中查询出重复记录,第1张

最后是不是要得到排除重复后的值即只剩下李四和张三这两条记录?可以用下面的SQL语句实现

1创建测试环境

create table Repeat

(

username varchar(50)

)

delete from Repeat

insert into Repeat

values('张三')

insert into Repeat

values('张三 李四')

insert into Repeat

values('李四')

insert into Repeat

values('李四 王五')

insert into Repeat

values('张三 李四 王五')

2实现(排除重复)

select username

from Repeat

where CHARINDEX(' ',username)=0

union

select left(username,aweizhi-1)as username

from

(

select ,weizhi=CHARINDEX(' ',username)

from Repeat

where CHARINDEX(' ',username)>0

)as a

方法如下:

select from 你的表名

a where id=(select min(id) from 你的表名 whereitem_id=aitem_id)

在查询之前先把数据库表中的第一行复制到sid里在去,然后让sid和下面的每一行进行比较

取所有相同的行的最小的一下,也可以取最大的,结果是一样的。

这样让所有的行都比较不就得到不重复的数据了。

使用group进行分组来实现。

例句:

select a,count() from table group a ;

显示的结果,a就是重复的值,count()就是重复的次数。

该SQL在Oracle、Sql Server等数据库都适用。

若要筛选重复几次的重复值,则可对sql进行变动。

比如要显示重复3次以及3次以上的资料,

例句:

select a,count() from table group a having count()>=3;

一般来讲查询数据中有重复的记录,首先要确定"重复"的定义,例如单字段重复、多字段组合重复等,然后再根据"重复"的定义进行分组计数,组计数大于1的即为有重复的记录。

下面举个例子供参考:

有雇员表(工号,姓名,身份z号码)

其中字段"身份z号码"因未设置唯一索引,存在重复的情况,现要求检索出身份z有重复的员工资料,SQL实现语句如下

select a from 雇员 a,

(select 身份z号码 from 雇员 group by 身份z号码 having count()>1) b 

where a身份z号码=b身份z号码;

在平时的开发中,我们经常遇到数据表中出现重复的数据,那么该如何解决呢?这里介绍两种情况下的数据去重方法,一、完全重复数据去重;二、部分字段数据重复去重。

一、完全重复数据去重方法

对于表中完全重复数据去重,可以采用以下SQL语句。

Code

CREATETABLE"#temp"AS (SELECTDISTINCT FROM 表名);--创建临时表,并把DISTINCT 去重后的数据插入到临时表中

truncateTABLE 表名;--清空原表数据

INSERTINTO 表名(SELECT FROM"#temp");--将临时表数据插入到原表中

DROPTABLE"#temp";--删除临时表

具体思路是,首先创建一个临时表,然后将DISTINCT之后的表数据插入到这个临时表中;然后清空原表数据;再讲临时表中的数据插入到原表中;最后删除临时表。

二、部分数据去重方法

首先查找重复数据

select 字段1,字段2,count() from 表名 groupby 字段1,字段2 havingcount() > 1

将上面的>号改为=号就可以查询出没有重复的数据了。

想要删除这些重复的数据,可以使用下面语句进行删除:

deletefrom 表名 a where 字段1,字段2 in

(select 字段1,字段2,count() from 表名 groupby 字段1,字段2 havingcount() > 1)

上面的语句非常简单,就是将查询到的数据删除掉。不过这种删除执行的效率非常低,对于大数据量来说,可能会将数据库卡死。

基于上述情况,可以先将查询到的重复的数据插入到一个临时表中,然后对进行删除,这样,执行删除的时候就不用再进行一次查询了。如下:

CREATETABLE 临时表 AS

(select 字段1,字段2,count() from 表名 groupby 字段1,字段2 havingcount() > 1)

下面就可以进行这样的删除 *** 作了:

deletefrom 表名 a where 字段1,字段2 in (select 字段1,字段2 from 临时表);

先建临时表再进行删除的 *** 作要比直接用一条语句进行删除要高效得多。

上面的语句会把所有重复的全都删除,在oracle中,有个隐藏了自动rowid,里面给每条记录一个唯一的rowid,我们如果想保留最新的一条记录,我们就可以利用这个字段,保留重复数据中rowid最大的一条记录就可以了。

下面是查询重复数据的一个例子:

select arowid,a from 表名 a

where arowid !=

(

selectmax(browid) from 表名 b

where a字段1 = b字段1 and

a字段2 = b字段2

)

上面括号中的语句是查询出重复数据中rowid最大的一条记录。而外面就是查询出除了rowid最大之外的其他重复的数据了。

由此,我们要删除重复数据,只保留最新的一条数据,就可以这样写了:

deletefrom 表名 a

where arowid !=

(

selectmax(browid) from 表名 b

where a字段1 = b字段1 and

a字段2 = b字段2

)

同理,上述代码的执行效率毕竟低,所以我们可以考虑建立临时表,将需要判断重复的字段、rowid插入临时表中,然后删除的时候在进行比较。

createtable 临时表 as

select a字段1,a字段2,MAX(aROWID) dataid from 正式表 a GROUPBY a字段1,a字段2;

deletefrom 表名 a

where arowid !=

(

select bdataid from 临时表 b

where a字段1 = b字段1 and

a字段2 = b字段2

);

commit;

以上就是关于如何在数据库中查询出重复记录全部的内容,包括:如何在数据库中查询出重复记录、如何在同一个数据库表中查询出相同的记录、如何查询数据库中记录重复的次数等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9305484.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-27
下一篇 2023-04-27

发表评论

登录后才能评论

评论列表(0条)

保存