数据库怎么去某一字段的重复数据

--按某一字段分组取最大(小)值所在行的数据

/*

数据如下：

name val memo

a2 a2(a的第二个值)

a1 a1--a的第一个值

a3 a3:a的第三个值

b1 b1--b的第一个值

b3 b3:b的第三个值

b2 b2b2b2b2

b4 b4b4

b5 b5b5b5b5b5

*/

--创建表并插入数据：

create table tb(name varchar(10),val int,memo varchar(20))

insert into tb values('a',2, 'a2(a的第二个值)')

insert into tb values('a',1, 'a1--a的第一个值')

insert into tb values('a',3, 'a3:a的第三个值')

insert into tb values('b',1, 'b1--b的第一个值')

insert into tb values('b',3, 'b3:b的第三个值')

insert into tb values('b',2, 'b2b2b2b2')

insert into tb values('b',4, 'b4b4')

insert into tb values('b',5, 'b5b5b5b5b5')

go

--一、按name分组取val最大的值所在行的数据。

--方法1：

select a.* from tb a where val = (select max(val) from tb where name = a.name) order by a.name

--方法2：

select a.* from tb a where not exists(select 1 from tb where name = a.name and val >a.val)

--方法3：

select a.* from tb a,(select name,max(val) val from tb group by name) b where a.name = b.name and a.val = b.val order by a.name

--方法4：

select a.* from tb a inner join (select name , max(val) val from tb group by name) b on a.name = b.name and a.val = b.val order by a.name

--方法5

select a.* from tb a where 1 >(select count(*) from tb where name = a.name and val >a.val ) order by a.name

/*

name val memo

---------- ----------- --------------------

a 3 a3:a的第三个值

b 5 b5b5b5b5b5

*/

--二、按name分组取val最小的值所在行的数据。

--方法1：

select a.* from tb a where val = (select min(val) from tb where name = a.name) order by a.name

--方法2：

select a.* from tb a where not exists(select 1 from tb where name = a.name and val <a.val)

--方法3：

select a.* from tb a,(select name,min(val) val from tb group by name) b where a.name = b.name and a.val = b.val order by a.name

--方法4：

select a.* from tb a inner join (select name , min(val) val from tb group by name) b on a.name = b.name and a.val = b.val order by a.name

--方法5

select a.* from tb a where 1 >(select count(*) from tb where name = a.name and val <a.val) order by a.name

/*

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 1 b1--b的第一个值

*/

--三、按name分组取第一次出现的行所在的数据。

select a.* from tb a where val = (select top 1 val from tb where name = a.name) order by a.name

/*

name val memo

---------- ----------- --------------------

a 2 a2(a的第二个值)

b 1 b1--b的第一个值

*/

--四、按name分组随机取一条数据。

select a.* from tb a where val = (select top 1 val from tb where name = a.name order by newid()) order by a.name

/*

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 5 b5b5b5b5b5

*/

--五、按name分组取最小的两个(N个)val

select a.* from tb a where 2 >(select count(*) from tb where name = a.name and val <a.val ) order by a.name,a.val

select a.* from tb a where val in (select top 2 val from tb where name=a.name order by val) order by a.name,a.val

select a.* from tb a where exists (select count(*) from tb where name = a.name and val <a.val having Count(*) <2) order by a.name

/*

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

a 2 a2(a的第二个值)

b 1 b1--b的第一个值

b 2 b2b2b2b2

*/

--六、按name分组取最大的两个(N个)val

select a.* from tb a where 2 >(select count(*) from tb where name = a.name and val >a.val ) order by a.name,a.val

select a.* from tb a where val in (select top 2 val from tb where name=a.name order by val desc) order by a.name,a.val

select a.* from tb a where exists (select count(*) from tb where name = a.name and val >a.val having Count(*) <2) order by a.name

/*

name val memo

---------- ----------- --------------------

a 2 a2(a的第二个值)

a 3 a3:a的第三个值

b 4 b4b4

b 5 b5b5b5b5b5

*/

--七，如果整行数据有重复，所有的列都相同。

/*

数据如下：

name val memo

a2 a2(a的第二个值)

a1 a1--a的第一个值

a1 a1--a的第一个值

a3 a3:a的第三个值

a3 a3:a的第三个值

b1 b1--b的第一个值

b3 b3:b的第三个值

b2 b2b2b2b2

b4 b4b4

b5 b5b5b5b5b5

*/

--在sql server 2000中只能用一个临时表来解决，生成一个自增列，先对val取最大或最小，然后再通过自增列来取数据。

--创建表并插入数据：

create table tb(name varchar(10),val int,memo varchar(20))

insert into tb values('a',2, 'a2(a的第二个值)')

insert into tb values('a',1, 'a1--a的第一个值')

insert into tb values('a',1, 'a1--a的第一个值')

insert into tb values('a',3, 'a3:a的第三个值')

insert into tb values('a',3, 'a3:a的第三个值')

insert into tb values('b',1, 'b1--b的第一个值')

insert into tb values('b',3, 'b3:b的第三个值')

insert into tb values('b',2, 'b2b2b2b2')

insert into tb values('b',4, 'b4b4')

insert into tb values('b',5, 'b5b5b5b5b5')

go

select * , px = identity(int,1,1) into tmp from tb

select m.name,m.val,m.memo from

(

select t.* from tmp t where val = (select min(val) from tmp where name = t.name)

) m where px = (select min(px) from

(

select t.* from tmp t where val = (select min(val) from tmp where name = t.name)

) n where n.name = m.name)

drop table tb,tmp

/*

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 1 b1--b的第一个值

(2 行受影响)

*/

--在sql server 2005中可以使用row_number函数，不需要使用临时表。

--创建表并插入数据：

create table tb(name varchar(10),val int,memo varchar(20))

insert into tb values('a',2, 'a2(a的第二个值)')

insert into tb values('a',1, 'a1--a的第一个值')

insert into tb values('a',1, 'a1--a的第一个值')

insert into tb values('a',3, 'a3:a的第三个值')

insert into tb values('a',3, 'a3:a的第三个值')

insert into tb values('b',1, 'b1--b的第一个值')

insert into tb values('b',3, 'b3:b的第三个值')

insert into tb values('b',2, 'b2b2b2b2')

insert into tb values('b',4, 'b4b4')

insert into tb values('b',5, 'b5b5b5b5b5')

go

select m.name,m.val,m.memo from

(

select * , px = row_number() over(order by name , val) from tb

) m where px = (select min(px) from

(

select * , px = row_number() over(order by name , val) from tb

) n where n.name = m.name)

drop table tb

/*

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 1 b1--b的第一个值

(2 行受影响)

*/

select testid,count(1) from testtable group by testid having count(1)>1

count(1)就是重复在数量

如何查询重复的数据

select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) >1

PS：将上面的>号改为=号就可以查询出没有重复的数据了。

Oracle删除重复数据的SQL（删除所有）：

删除重复数据的基本结构写法：

想要删除这些重复的数据，可以使用下面语句进行删除

delete from 表名 a where 字段1,字段2 in(select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) >1)

上面的SQL注意：语句非常简单，就是将查询到的数据删除掉。不过这种删除执行的效率非常低，对于大数据量来说，可能会将数据库吊死。

建议先将查询到的重复的数据插入到一个临时表中，然后对进行删除，这样，执行删除的时候就不用再进行一次查询了。如下：

CREATE TABLE 临时表 AS (select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) >1)

上面这句话就是建立了临时表，并将查询到的数据插入其中。

下面就可以进行这样的删除 *** 作了：

delete from 表名 a where 字段1,字段2 in (select 字段1，字段2 from 临时表)

---