数据库怎么去某一字段的重复数据

--按某一字段分组取最大(小)值所在行的数据

/

数据如下：

name val memo

a 2 a2(a的第二个值)

a 1 a1--a的第一个值

a 3 a3:a的第三个值

b 1 b1--b的第一个值

b 3 b3:b的第三个值

b 2 b2b2b2b2

b 4 b4b4

b 5 b5b5b5b5b5

/

--创建表并插入数据：

create table tb(name varchar(10),val int,memo varchar(20))

insert into tb values('a', 2, 'a2(a的第二个值)')

insert into tb values('a', 1, 'a1--a的第一个值')

insert into tb values('a', 3, 'a3:a的第三个值')

insert into tb values('b', 1, 'b1--b的第一个值')

insert into tb values('b', 3, 'b3:b的第三个值')

insert into tb values('b', 2, 'b2b2b2b2')

insert into tb values('b', 4, 'b4b4')

insert into tb values('b', 5, 'b5b5b5b5b5')

go

--一、按name分组取val最大的值所在行的数据。

--方法1：

select a from tb a where val = (select max(val) from tb where name = aname) order by aname

--方法2：

select a from tb a where not exists(select 1 from tb where name = aname and val > aval)

--方法3：

select a from tb a,(select name,max(val) val from tb group by name) b where aname = bname and aval = bval order by aname

--方法4：

select a from tb a inner join (select name , max(val) val from tb group by name) b on aname = bname and aval = bval order by aname

--方法5

select a from tb a where 1 > (select count() from tb where name = aname and val > aval ) order by aname

/

name val memo

---------- ----------- --------------------

a 3 a3:a的第三个值

b 5 b5b5b5b5b5

/

--二、按name分组取val最小的值所在行的数据。

--方法1：

select a from tb a where val = (select min(val) from tb where name = aname) order by aname

--方法2：

select a from tb a where not exists(select 1 from tb where name = aname and val < aval)

--方法3：

select a from tb a,(select name,min(val) val from tb group by name) b where aname = bname and aval = bval order by aname

--方法4：

select a from tb a inner join (select name , min(val) val from tb group by name) b on aname = bname and aval = bval order by aname

--方法5

select a from tb a where 1 > (select count() from tb where name = aname and val < aval) order by aname

/

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 1 b1--b的第一个值

/

--三、按name分组取第一次出现的行所在的数据。

select a from tb a where val = (select top 1 val from tb where name = aname) order by aname

/

name val memo

---------- ----------- --------------------

a 2 a2(a的第二个值)

b 1 b1--b的第一个值

/

--四、按name分组随机取一条数据。

select a from tb a where val = (select top 1 val from tb where name = aname order by newid()) order by aname

/

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 5 b5b5b5b5b5

/

--五、按name分组取最小的两个(N个)val

select a from tb a where 2 > (select count() from tb where name = aname and val < aval ) order by aname,aval

select a from tb a where val in (select top 2 val from tb where name=aname order by val) order by aname,aval

select a from tb a where exists (select count() from tb where name = aname and val < aval having Count() < 2) order by aname

/

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

a 2 a2(a的第二个值)

b 1 b1--b的第一个值

b 2 b2b2b2b2

/

--六、按name分组取最大的两个(N个)val

select a from tb a where 2 > (select count() from tb where name = aname and val > aval ) order by aname,aval

select a from tb a where val in (select top 2 val from tb where name=aname order by val desc) order by aname,aval

select a from tb a where exists (select count() from tb where name = aname and val > aval having Count() < 2) order by aname

/

name val memo

---------- ----------- --------------------

a 2 a2(a的第二个值)

a 3 a3:a的第三个值

b 4 b4b4

b 5 b5b5b5b5b5

/

--七，如果整行数据有重复，所有的列都相同。

/

数据如下：

name val memo

a 2 a2(a的第二个值)

a 1 a1--a的第一个值

a 1 a1--a的第一个值

a 3 a3:a的第三个值

a 3 a3:a的第三个值

b 1 b1--b的第一个值

b 3 b3:b的第三个值

b 2 b2b2b2b2

b 4 b4b4

b 5 b5b5b5b5b5

/

--在sql server 2000中只能用一个临时表来解决，生成一个自增列，先对val取最大或最小，然后再通过自增列来取数据。

--创建表并插入数据：

create table tb(name varchar(10),val int,memo varchar(20))

insert into tb values('a', 2, 'a2(a的第二个值)')

insert into tb values('a', 1, 'a1--a的第一个值')

insert into tb values('a', 1, 'a1--a的第一个值')

insert into tb values('a', 3, 'a3:a的第三个值')

insert into tb values('a', 3, 'a3:a的第三个值')

insert into tb values('b', 1, 'b1--b的第一个值')

insert into tb values('b', 3, 'b3:b的第三个值')

insert into tb values('b', 2, 'b2b2b2b2')

insert into tb values('b', 4, 'b4b4')

insert into tb values('b', 5, 'b5b5b5b5b5')

go

select , px = identity(int,1,1) into tmp from tb

select mname,mval,mmemo from

(

select t from tmp t where val = (select min(val) from tmp where name = tname)

) m where px = (select min(px) from

(

select t from tmp t where val = (select min(val) from tmp where name = tname)

) n where nname = mname)

drop table tb,tmp

/

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 1 b1--b的第一个值

(2 行受影响)

/

--在sql server 2005中可以使用row_number函数，不需要使用临时表。

--创建表并插入数据：

create table tb(name varchar(10),val int,memo varchar(20))

insert into tb values('a', 2, 'a2(a的第二个值)')

insert into tb values('a', 1, 'a1--a的第一个值')

insert into tb values('a', 1, 'a1--a的第一个值')

insert into tb values('a', 3, 'a3:a的第三个值')

insert into tb values('a', 3, 'a3:a的第三个值')

insert into tb values('b', 1, 'b1--b的第一个值')

insert into tb values('b', 3, 'b3:b的第三个值')

insert into tb values('b', 2, 'b2b2b2b2')

insert into tb values('b', 4, 'b4b4')

insert into tb values('b', 5, 'b5b5b5b5b5')

go

select mname,mval,mmemo from

(

select , px = row_number() over(order by name , val) from tb

) m where px = (select min(px) from

(

select , px = row_number() over(order by name , val) from tb

) n where nname = mname)

drop table tb

/

name val memo

---------- ----------- --------------------

a 1 a1--a的第一个值

b 1 b1--b的第一个值

(2 行受影响)

/

有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。

1、对于第一种重复，比较容易解决，使用

select distinct from tableName

就可以得到无重复记录的结果集。

如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除

复制代码代码如下:

select distinct into #Tmp from tableName

drop table tableName

select into tableName from #Tmp

drop table #Tmp

发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。

2、这类重复问题通常要求保留重复记录中的第一条记录， *** 作方法如下

假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集

复制代码代码如下:

select identity(int,1,1) as autoID, into #Tmp from tableName

select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID

select from #Tmp where autoID in(select autoID from #tmp2)

1查询出重复记录

select 重复记录字段 form 数据表 group by houseno having count(重复记录字段)>1

2重复记录只显示一条ID值最小或最大的记录

select id， from 数据表 where houseno (select 重复记录字段 form 数据表 group by 重复记录

字段 having count(重复记录字段)>1 )

这样把houseno重复的的ID值全部显示出，那么我们如何只显示一条id最小或最大的记录呢？

关键是在上面sql的where子句中select 重复记录字段 form 数据表 group by 重复记录字段 having count(

重复记录字段)>1

修改为

select min(id) form 数据表 group by 重复记录字段 having count(重复记录字段)>1

这样就查询重复记录字段中ID最小值

那么上面的语句就是

select id， from 数据表 where houseno (select min(id) form 数据表 group by 重复记录字段

having count(重复记录字段)>1 )

3至于对重复记录执行delete update 就非常简单啦

例如只保留最小id的一条

delete 数据表 where id in (select max(id ) from 数据包 group by 重复记录字段 having count(重复记录字段)>1)

update *** 作不说啦都一样。

4group by 字段 having count与distinct的区别

distct查询显示全部字段值都是一样的唯一，一条记录

例如

id name sex

43 111 1

44 111 1

45 111 2

46 222 2

47 222 2

48 333 1

49 333 1

SELECT distinct

[name]

,[sex]

FROM [database][dbo][a]

要想实现上面的要去掉 sex字段 改成

SELECT distinct

[name]

FROM [database][dbo][a]

但要想取得重复ID最小值不建议用distinct。

总结：

对于重复记录关键是查出 ：采用group by 字段 having count(字段)>1

取得最小id的一条(很关键) :采用min（id）

oracle查询出来的数据消除重复数据的具体步骤如下：

1、首先我们查看表中重复的数据。

2、然后我饿美女使用distinct去除函数查询出去掉重复后的数据。

3、然后我们创建新表把去掉重复的数据插入到新表中。

4、最后使用truncate清空原表中的数据。

5、再向原表中插入新表中重复的数据，即可达到去重复数据的效果。

法一: 用Group by语句 此查找很快的select count(num), max(name) from student –查找表中num列重复的，列出重复的记录数，并列出他的name属性group by numhaving count(num) >;1 –按num分组后找出表中num列重复，即出现次数大于一次delete from student(上面Select的)这样的话就把所有重复的都删除了。—–慎重法二:当表比较大(例如10万条以上)时,这个方法的效率之差令人无法忍受,需要另想办法:—- 执行下面SQL语句后就可以显示所有DRAWING和DSNO相同且重复的记录SELECT FROM EM5_PIPE_PREFABWHERE ROWID!=(SELECT MAX(ROWID) FROM EM5_PIPE_PREFAB D –D相当于First,SecondWHERE EM5_PIPE_PREFABDRAWING=DDRAWING ANDEM5_PIPE_PREFABDSNO=DDSNO);—- 执行下面SQL语句后就可以删除所有DRAWING和DSNO相同且重复的记录DELETE FROM EM5_PIPE_PREFABWHERE ROWID!=(SELECT MAX(ROWID) FROM EM5_PIPE_PREFAB DWHERE EM5_PIPE_PREFABDRAWING=DDRAWING ANDEM5_PIPE_PREFABDSNO=DDSNO);法一: 用Group by语句 此查找很快的select count(num), max(name) from student –查找表中num列重复的，列出重复的记录数，并列出他的name属性group by numhaving count(num) >;1 –按num分组后找出表中num列重复，即出现次数大于一次delete from student(上面Select的)这样的话就把所有重复的都删除了。—–慎重法二:当表比较大(例如10万条以上)时,这个方法的效率之差令人无法忍受,需要另想办法:—- 执行下面SQL语句后就可以显示所有DRAWING和DSNO相同且重复的记录SELECT FROM EM5_PIPE_PREFABWHERE ROWID!=(SELECT MAX(ROWID) FROM EM5_PIPE_PREFAB D –D相当于First,SecondWHERE EM5_PIPE_PREFABDRAWING=DDRAWING ANDEM5_PIPE_PREFABDSNO=DDSNO);—- 执行下面SQL语句后就可以删除所有DRAWING和DSNO相同且重复的记录DELETE FROM EM5_PIPE_PREFABWHERE ROWID!=(SELECT MAX(ROWID) FROM EM5_PIPE_PREFAB DWHERE EM5_PIPE_PREFABDRAWING=DDRAWING ANDEM5_PIPE_PREFABDSNO=DDSNO);

首先，先说明一个问题。这样的结果出现，说明系统设计是有问题的。

其次

删除重复数据，你要提供你是什么数据库。

不同数据库会有不同的解决方案。

关键字Distinct 去除重复，如下列SQL，去除Test相同的记录；

1 select distinct Test from Table

2 如果是要删除表中存在的重复记录，那就逻辑处理，如下：

3 select Test from Table group by Test having count（test)>1

4 先查询存在重复的数据，后面根据条件删除

还有一个更简单的方法可以尝试一下：

select aid, count(distinct uid) from 表名 group by aid

这是sqlserver 的写法。

如图一在数据表中有两个膀胱冲洗重复的记录。

2

可以通过sql语句“select from 表名 where 编码 in(select 编码 from 表名 group by 编码 having count(1) >= 2)”来查询出变种所有重复的记录如图二

3

通过sql语句"

delete from 表名 where

编码 in(select 编码 from 表名 group by 编码 having count(1) >= 2)

and 编码 not in (select max(编码)from 表名 group by 编码 having count(1) >=2)

"来删除重复的记录只保留编码最大的记录

首先是将数据库里边的重复记录删掉，我看网上有好多答案是这样的：

1 delete from people

2 where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)

3 and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1)

但其实我每次运行这条语句都是行不通的，会报错：

SQL 错误 [1093] [HY000]: You can't specify target table 'test1' for update in FROM clause

javasqlSQLException: You can't specify target table 'test1' for update in FROM clause

去网上查过好像是说update以及delete *** 作没办法跟查询 *** 作一起做的，我看过有的更新的跟查询的一起做的好像是给查出来的那部分起个别名，然后进行更新就可以了，但是删除这个我起了别名也不对，不知道是我写错还是不行，我就跳过这个方法了。

我用的方法是：先查出数据库中的重复记录的数据中的一条，这个不难，很简单的，sql语句如下：

select from test1 where name in (select  name from test1  group  by  name   having  count(name) > 1)

and id in (select min(id) from  test1  group by name  having count(name)>1)

结果如下：

id |name |phont |

---|--------|-------|

1 |name22 |123 |

3 |name222 |123 |

5 |name2 |123123 |

8 |123 |123123 |

11 |name1 |123123 |

13 |111 |1231 |

14 |112 |1232 |

这些都是不重复的，换句话说都是要保留的，不被删掉的，而其余与这些结果中name相同的应该被删掉。

也就是说将上边那个sql语句id后边加一个not ，查出来的结果就是要删掉的：结果如下

id |name |phont |

---|--------|-------|

2 |name22 |123 |

4 |name222 |123 |

6 |name2 |123123 |

7 |name2 |NULL |

9 |123 |123123 |

10 |123 |123123 |

12 |name1 |123123 |

15 |111 |1233 |

16 |112 |1234 |

17 |111 |1235 |

18 |112 |1236 |

我把这些需要删掉的存到另外一个表里，然后我新建一个test2表，结构复制test1的结构就好了

1 CREATE TABLE `test2` (2   `id` int(11) NOT NULL AUTO_INCREMENT,3   `name` varchar(50) DEFAULT NULL,4   `phont` varchar(50) DEFAULT NULL,5   PRIMARY KEY (`id`)6 ) ENGINE=InnoDB DEFAULT CHARSET=utf8

然后插入语句是：

1 insert into test2(2 select from testtest1 where name in (select  name from testtest1  group  by  name   having  count(name) > 1)

3 and id not in (select min(id) from  testtest1  group by name  having count(name)>1)

4 )

然后test2的表里的数据就是下图这样的：

那接下来做的就是删掉test1表里边与test2表的id相同的数据。

1 delete a from test1 a, test2 b where aid = bid ;

这样，test1里边的数据就变成了：

这样的结果就是完全不重复的，但是我还想要他们的id是连续的，而不是这样的断开的。

我的做法是将这个表的除掉id之外的所有字段查出插入到另外一个表test3中，当然，test3要设置id为自增主键，但是不插入id，让它自增，就连续了

当然要新建表test3啦，不过把上边新建的test2那个复制下来改名字为test3就好啦。

然后插入：

1 insert into test3(name, phont)2 (select name, phont from test2)

test3表里的结果就是：

这样就可以把test3改成你想要的名字，然后删掉test1和test2了，大功告成~

不过感觉还可以就是将已经删掉重复数据的表test1的数据全都导出来，一般的数据库连接工具都有这样的功能，导成sql格式的，然后新建一个表，比test1多增一个自增主键字段叫NewId字段，但是Id字段不能再自增了，然后将导成的sql文件导入，不过那个sql文件可能要编辑一下，改一下自增主键id变为普通的字段什么的，然后到新表了之后，删掉id字段，修改NewId为Id，应该也可以，但是这个方法我没试过，原先预想过要这么做但是没有这么做，估计以后可以试试，但是感觉两种的麻烦程度都差不多啊，但是如果将sql语句写下来之后可能还是第一种方法比较快一点吧。

以上就是关于数据库怎么去某一字段的重复数据全部的内容，包括:数据库怎么去某一字段的重复数据、ACCESS数据库内如何去除某字段重复记录、怎样去除sql server数据库中查询到的重复的记录等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！