数据库怎么去某一字段的重复数据

--按某一字段分组取最大(小)值所在行的数据

/*

数据如下：

name val memo

a2 a2(a的第二个值)

a1 a1--a的第一个值

a3 a3:a的第三个值

b1 b1--b的第一个值

b3 b3:b的第三个值

b2 b2b2b2b2

b4 b4b4

b5 b5b5b5b5b5

*/

--创建表并插入数据：

create table tb(name varchar(10),val int,memo varchar(20))

insert into tb values('a',2, 'a2(a的第二个值)')

insert into tb values('a',1, 'a1--a的第一个值')

insert into tb values('a',3, 'a3:a的第三个值')

insert into tb values('b',1, 'b1--b的第一个值')

insert into tb values('b',3, 'b3:b的第三个值')

insert into tb values('b',2, 'b2b2b2b2')

insert into tb values('b',4, 'b4b4')

insert into tb values('b',5, 'b5b5b5b5b5')

go

--一、按name分组取val最大的值所在行的数据。

--方法1：

select a.* from tb a where val = (select max(val) from tb where name = a.name) order by a.name

--方法2：

select a.* from tb a where not exists(select 1 from tb where name = a.name and val >a.val)

--方法3：

select a.* from tb a,(select name,max(val) val from tb group by name) b where a.name = b.name and a.val = b.val order by a.name

--方法4：

select a.* from tb a inner join (select name , max(val) val from tb group by name) b on a.name = b.name and a.val = b.val order by a.name

--方法5

select a.* from tb a where 1 >(select count(*) from tb where name = a.name and val >a.val ) order by a.name

/*

name val memo

---------- ----------- --------------------

a 3 a3:a的第三个值

b 5 b5b5b5b5b5

*/

--二、按name分组取val最小的值所在行的数据。

--方法1：

select a.* from tb a where val = (select min(val) from tb where name = a.name) order by a.name

--方法2：

select a.* from tb a where not exists(select 1 from tb where name = a.name and val <a.val)

--方法3：

select a.* from tb a,(select name,min(val) val from tb group by name) b where a.name = b.name and a.val = b.val order by a.name

--方法4：

select a.* from tb a inner join (select name , min(val) val from tb group by name) b on a.name = b.name and a.val = b.val order by a.name

--方法5

select a.* from tb a where 1 >(select count(*) from tb where name = a.name and val <a.val) order by a.name

/*

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 1 b1--b的第一个值

*/

--三、按name分组取第一次出现的行所在的数据。

select a.* from tb a where val = (select top 1 val from tb where name = a.name) order by a.name

/*

name val memo

---------- ----------- --------------------

a 2 a2(a的第二个值)

b 1 b1--b的第一个值

*/

--四、按name分组随机取一条数据。

select a.* from tb a where val = (select top 1 val from tb where name = a.name order by newid()) order by a.name

/*

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 5 b5b5b5b5b5

*/

--五、按name分组取最小的两个(N个)val

select a.* from tb a where 2 >(select count(*) from tb where name = a.name and val <a.val ) order by a.name,a.val

select a.* from tb a where val in (select top 2 val from tb where name=a.name order by val) order by a.name,a.val

select a.* from tb a where exists (select count(*) from tb where name = a.name and val <a.val having Count(*) <2) order by a.name

/*

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

a 2 a2(a的第二个值)

b 1 b1--b的第一个值

b 2 b2b2b2b2

*/

--六、按name分组取最大的两个(N个)val

select a.* from tb a where 2 >(select count(*) from tb where name = a.name and val >a.val ) order by a.name,a.val

select a.* from tb a where val in (select top 2 val from tb where name=a.name order by val desc) order by a.name,a.val

select a.* from tb a where exists (select count(*) from tb where name = a.name and val >a.val having Count(*) <2) order by a.name

/*

name val memo

---------- ----------- --------------------

a 2 a2(a的第二个值)

a 3 a3:a的第三个值

b 4 b4b4

b 5 b5b5b5b5b5

*/

--七，如果整行数据有重复，所有的列都相同。

/*

数据如下：

name val memo

a2 a2(a的第二个值)

a1 a1--a的第一个值

a1 a1--a的第一个值

a3 a3:a的第三个值

a3 a3:a的第三个值

b1 b1--b的第一个值

b3 b3:b的第三个值

b2 b2b2b2b2

b4 b4b4

b5 b5b5b5b5b5

*/

--在sql server 2000中只能用一个临时表来解决，生成一个自增列，先对val取最大或最小，然后再通过自增列来取数据。

--创建表并插入数据：

create table tb(name varchar(10),val int,memo varchar(20))

insert into tb values('a',2, 'a2(a的第二个值)')

insert into tb values('a',1, 'a1--a的第一个值')

insert into tb values('a',1, 'a1--a的第一个值')

insert into tb values('a',3, 'a3:a的第三个值')

insert into tb values('a',3, 'a3:a的第三个值')

insert into tb values('b',1, 'b1--b的第一个值')

insert into tb values('b',3, 'b3:b的第三个值')

insert into tb values('b',2, 'b2b2b2b2')

insert into tb values('b',4, 'b4b4')

insert into tb values('b',5, 'b5b5b5b5b5')

go

select * , px = identity(int,1,1) into tmp from tb

select m.name,m.val,m.memo from

(

select t.* from tmp t where val = (select min(val) from tmp where name = t.name)

) m where px = (select min(px) from

(

select t.* from tmp t where val = (select min(val) from tmp where name = t.name)

) n where n.name = m.name)

drop table tb,tmp

/*

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 1 b1--b的第一个值

(2 行受影响)

*/

--在sql server 2005中可以使用row_number函数，不需要使用临时表。

--创建表并插入数据：

create table tb(name varchar(10),val int,memo varchar(20))

insert into tb values('a',2, 'a2(a的第二个值)')

insert into tb values('a',1, 'a1--a的第一个值')

insert into tb values('a',1, 'a1--a的第一个值')

insert into tb values('a',3, 'a3:a的第三个值')

insert into tb values('a',3, 'a3:a的第三个值')

insert into tb values('b',1, 'b1--b的第一个值')

insert into tb values('b',3, 'b3:b的第三个值')

insert into tb values('b',2, 'b2b2b2b2')

insert into tb values('b',4, 'b4b4')

insert into tb values('b',5, 'b5b5b5b5b5')

go

select m.name,m.val,m.memo from

(

select * , px = row_number() over(order by name , val) from tb

) m where px = (select min(px) from

(

select * , px = row_number() over(order by name , val) from tb

) n where n.name = m.name)

drop table tb

/*

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 1 b1--b的第一个值

(2 行受影响)

*/

在对数据库进行 *** 作过程中我们可能会碰到这种情况 表中的数据可能重复出现 使我们对数据库的 *** 作过程中带来很多的不便 那么怎么删除这些重复没有用的数据呢?

重复数据删除技术可以提供更大的备份容量 实现更长时间的数据保留 还能实现备份数据的持续验证 进步数据恢复服务水平 方便实现数据容灾等 重复的数据可能有这样两种情况 第一种时表中只有某些字段一样 第二种是两行记录完全一样 Oracle数据库重复数据删除技术有如下优势 更大的备份容量 数据能得到持续验证 有更高的数据恢复服务水平 方便实现备份数据的容灾

一 删除部分字段重复数据

先来谈谈如何查询重复的数据吧

下面语句可以查询出那些数据是重复的

select 字段 字段 count(*) from 表名 group by 字段 字段 having count(*) >

将上面的>号改为=号就可以查询出没有重复的数据了

想要删除这些重复的数据 可以使用下面语句进行删除

delete from 表名 a where 字段 字段 in

(select 字段 字段 count(*) from 表名 group by 字段 字段 having count(*) >)

上面的语句非常简单 就是将查询到的数据删除掉 不过这种删除执行的效率非常低 对于大数据量来说 可能会将数据库吊死 所以我建议先将查询到的重复的数据插入到一个暂时表中 然后对进行删除 这样 执行删除的时候就不用再进行一次查询了 如下

create TABLE 暂时表 AS

(select 字段 字段 count(*) from 表名 group by 字段 字段 having count(*) >)

上面这句话就是建立了暂时表 并将查询到的数据插入其中

下面就可以进行这样的删除 *** 作了

delete from 表名 a where 字段 字段 in (select 字段 字段 from 暂时表)

这种先建暂时表再进行删除的 *** 作要比直接用一条语句进行删除要高效得多

这个时候 大家可能会跳出来说 什么?你叫我们执行这种语句 那不是把所有重复的全都删除吗?而我们想保留重复数据中最新的一条记录啊!大家不要急 下面我就讲一下如何进行这种 *** 作

在oracle中 有个隐藏了自动rowid 里面给每条记录一个唯一的rowid 我们假如想保留最新的一条记录

我们就可以利用这个字段 保留重复数据中rowid最大的一条记录就可以了

下面是查询重复数据的一个例子

以下是引用片段 selecta rowid a *from表名a　wherea rowid!=　(　selectmax(b rowid)from表名b　wherea 字段 =b 字段 and　a 字段 =b 字段 　)

下面我就来讲解一下 上面括号中的语句是查询出重复数据中rowid最大的一条记录

而外面就是查询出除了rowid最大之外的其他重复的数据了

由此 我们要删除重复数据 只保留最新的一条数据 就可以这样写了

deletefrom表名a　wherea rowid!=　(　selectmax(b rowid)from表名b　wherea 字段 =b 字段 and　a 字段 =b 字段 　)

随便说一下 上面语句的执行效率是很低的 可以考虑建立暂时表 讲需要判定重复的字段 rowid插入暂时表中 然后删除的时候在进行比较

　createtable暂时表as　selecta 字段 a 字段 MAX(a ROWID)dataidfrom正式表aGROUPBYa 字段 a 字段 　deletefrom表名a　wherea rowid!=　(　selectb dataidfrom暂时表b　wherea 字段 =b 字段 and　a 字段 =b 字段 　)　mit

二 完全删除重复记录

对于表中两行记录完全一样的情况 可以用下面语句获取到去掉重复数据后的记录

select distinct * from 表名

可以将查询的记录放到暂时表中 然后再将原来的表记录删除 最初将暂时表的数据导回原来的表中 如下

createTABLE暂时表AS(selectdistinct*from表名)truncatetable正式表注 原先由于笔误写成了droptable正式表现在已经改正过来insertinto正式表(select*from暂时表)droptable暂时表

假如想删除一个表的重复数据 可以先建一个暂时表 将去掉重复数据后的数据导入到暂时表 然后在从暂时表将数据导入正式表中 如下

insertINTOt_table_bak　selectdistinct*fromt_table

三 怎样快速删除oracle数据库

最快的方法就进入注册表 在运行 里输入regedit

依次展开HKEY_LOCAL_MACHINE SOFARE

找到ORACLE节点 删除

然后删除ORACLE数据文件 安装的时候选的路径

lishixinzhi/Article/program/Oracle/201311/18677

我们可能会出现这种情况 某个表原来设计不周全 导致表里面的数据数据重复 那么 如何对重复的数据进行删除呢？

重复的数据可能有这样两种情况 第一种时表中只有某些字段一样 第二种是两行记录完全一样

一 对于部分字段重复数据的删除

先来谈谈如何查询重复的数据吧

下面语句可以查询出那些数据是重复的

select 字段 字段 count(*) from 表名 group by 字段 字段 having count(*) >

将上面的>号改为=号就可以查询出没有重复的数据了

想要删除这些重复的数据 可以使用下面语句进行删除

delete from 表名 a where 字段 字段 in

(select 字段 字段 count(*) from 表名 group by 字段 字段 having count(*) >)

上面的语句非常简单 就是将查询到的数据删除掉 不过这种删除执行的效率非常低 对于大数据量来说 可能会将数据库吊死 所以我建议先将查询到的重复的数据插入到一个临时表中 然后对进行删除 这样 执行删除的时候就不用再进行一次查询了 如下

CREATE TABLE 临时表 AS

(select 字段 字段 count(*) from 表名 group by 字段 字段 having count(*) >)

上面这句话就是建立了临时表 并将查询到的数据插入其中

下面就可以进行这样的删除 *** 作了

delete from 表名 a where 字段 字段 in (select 字段 字段 from 临时表)

这种先建临时表再进行删除的 *** 作要比直接用一条语句进行删除要高效得多

这个时候 大家可能会跳出来说 什么？你叫我们执行这种语句 那不是把所有重复的全都删除吗？而我们想保留重复数据中最新的一条记录啊！大家不要急 下面我就讲一下如何进行这种 *** 作

在oracle中 有个隐藏了自动rowid 里面给每条记录一个唯一的rowid 我们如果想保留最新的一条记录

我们就可以利用这个字段 保留重复数据中rowid最大的一条记录就可以了

下面是查询重复数据的一个例子

select a rowid a * from 表名 a

where a rowid !=

(

select max(b rowid) from 表名 b

where a 字段 = b 字段 and

a 字段 = b 字段

)

下面我就来讲解一下 上面括号中的语句是查询出重复数据中rowid最大的一条记录

而外面就是查询出除了rowid最大之外的其他重复的数据了

由此 我们要删除重复数据 只保留最新的一条数据 就可以这样写了

delete from 表名 a

where a rowid !=

(

select max(b rowid) from 表名 b

where a 字段 = b 字段 and

a 字段 = b 字段

)

随便说一下 上面语句的执行效率是很低的 可以考虑建立临时表 讲需要判断重复的字段 rowid插入临时表中 然后删除的时候在进行比较

create table 临时表 as

select a 字段 a 字段 MAX(a ROWID) dataid from 正式表 a GROUP BY a 字段 a 字段

delete from 表名 a

where a rowid !=

(

select b dataid from 临时表 b

where a 字段 = b 字段 and

a 字段 = b 字段

)

mit

二 对于完全重复记录的删除

对于表中两行记录完全一样的情况 可以用下面语句获取到去掉重复数据后的记录

select distinct * from 表名

可以将查询的记录放到临时表中 然后再将原来的表记录删除 最后将临时表的数据导回原来的表中 如下

CREATE TABLE 临时表 AS (select distinct * from 表名)

drop table 正式表

insert into 正式表 (select * from 临时表)

drop table 临时表

如果想删除一个表的重复数据 可以先建一个临时表 将去掉重复数据后的数据导入到临时表 然后在从

临时表将数据导入正式表中 如下

INSERT INTO t_table_bak

lishixinzhi/Article/program/Oracle/201311/17477

---