mysql查询去掉重复数据

可以利用distinct关键字对需要处理的字段进行去重

使用group by关键字对去重数据进行去重查询，针对某个字段查询，直接group by 这个字段

在group by 的基础上 也可以使用 having 对查询结果进行二次筛选

1、存在部分字段相同的纪录

如果是这种情况的话用distinct是过滤不了的，这就要用到主键id的唯一性特点及group

代码：select

from

table

where

id

in

(select

max(id)

from

table

group

by

[去除重复的字段名列表,])

2、存在两条完全相同的记录

这是最简单的一种情况，用关键字distinct就可以去掉

代码：select

distinct

from

table(表名)

where

(条件)

3、没有唯一键ID

这种较为复杂

代码：

select

identity(int1,1)

as

id,

into

newtable(临时表)

from

table（原表）

select

from

newtable

where

id

in

(select

max(id)

from

newtable

group

by

[去除重复的字段名列表,])

drop

table

newtable

扩展资料：

SQL查询语句

1、查询全部的重复信息

select

from

people

where

id

not

in

(

select

min(id)

from

people

group

by

name,sex

HAVING

COUNT()

<

2)

2、查询多余的重复信息

select

from

people

where

id

not

in

(

select

MIN(id)

from

people

group

by

name,sex)

一张user表 中的name字段，里面有10个张三。我要只查询出一个张三。

SQL： select distinct name from user

如果还要查询出id

SQL: select distinct name,id from user

SQL ：select name from user group by name

group by理解：表里的某一个字段（比如：name） 当出现相同的数据时，group by就将这2条数据合二为一。name就显示一条 数据了。 但是name达到合二为一了，这2条数据的其他数据怎么办呢？ 这时候需要配合聚合函数的使用。

where条件：分组前的条件，配合任何关键字使用

Having 条件：分组后的条件 （事后条件） ,只配合group by使用。having条件通常使用聚合函数

SQL ：select deptno,sum(sal) from emp group by deptno having sum(sal) > 9000;

SQL： select deptno,count() from emp where sal >1000 group by deptno haing sum(sal) > 8000

拓展：

聚合函数定义：聚合函数对一组值进行计算并返回单一的值。（以下都属于聚合函数）

count() : 不包括空值。返回对行数目的计数。计算出有多少行，多少条数据。

count() : 包含空值。返回对数目的计数。计算表里有多少行，相当于多少条数据。

sum() : 求和运算

max(); 最大值

min(): 最小值

avg(): 平均值

重复的数据可能有这样两种情况，第一种时表中只有某些字段一样，第二种是两行记录完全一样。Oracle数据库重复数据删除技术有如下优势：更大的备份容量、数据能得到持续验证、有更高的数据恢复服务水平、方便实现备份数据的容灾。

一、删除部分字段重复数据先来谈谈如何查询重复的数据吧。

下面语句可以查询出那些数据是重复的：

select

字段1,字段2,count()

from

表名

group

by

字段1,字段2

having

count()

>

1

将上面的>号改为=号就可以查询出没有重复的数据了。

想要删除这些重复的数据，可以使用下面语句进行删除

delete

from

表名

a

where

字段1,字段2

in

(select

字段1,字段2,count()

from

表名

group

by

字段1,字段2

having

count()

>

1)

上面的语句非常简单，就是将查询到的数据删除掉。不过这种删除执行的效率非常低，对于大数据量来说，可能会将数据库吊死。所以我建议先将查询到的重复的数据插入到一个临时表中，然后对进行删除，这样，执行删除的时候就不用再进行一次查询了。如下：

CREATE

TABLE

临时表

AS

(select

字段1,字段2,count()

from

表名

group

by

字段1,字段2

having

count()

>

1)

上面这句话就是建立了临时表，并将查询到的数据插入其中。

下面就可以进行这样的删除 *** 作了：

delete

from

表名

a

where

字段1,字段2

in

(select

字段1，字段2

from

临时表);

这种先建临时表再进行删除的 *** 作要比直接用一条语句进行删除要高效得多。

这个时候，大家可能会跳出来说，什么你叫我

方法一

declare @max integer,@id integer

declare cur_rows cursor local for select 主字段,count() from 表名 group by 主字段 having count() > 1

open cur_rows

fetch cur_rows into @id,@max

while @@fetch_status=0

begin

select @max = @max -1

set rowcount @max

delete from 表名 where 主字段 = @id

fetch cur_rows into @id,@max

end

close cur_rows

set rowcount 0

方法二

有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。

1、对于第一种重复，比较容易解决，使用 select distinct from tableName 就可以得到无重复记录的结果集。

如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除

select distinct into #Tmp from tableName

drop table tableName

select into tableName from #Tmp

drop table #Tmp

发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。

2、这类重复问题通常要求保留重复记录中的第一条记录， *** 作方法如下：

假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集

select identity(int,1,1) as autoID, into #Tmp from tableName

select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID

select from #Tmp where autoID in(select autoID from #tmp2)

最后一个select即得到了Name，Address不重复的结果集（但多了一个autoID字段，实际写时可以写在select子句中省去此列）

Oracle数据库重复的数据一般有两种去重方法，一、完全重复数据去重;二、部分字段数据重复去重。

一、完全重复数据去重方法

对于表中完全重复数据去重，可以采用以下SQL语句。

Code

CREATETABLE"#temp"AS (SELECTDISTINCT FROM 表名);--创建临时表，并把DISTINCT 去重后的数据插入到临时表中

truncateTABLE 表名;--清空原表数据

INSERTINTO 表名(SELECT FROM"#temp");--将临时表数据插入到原表中

DROPTABLE"#temp";--删除临时表

具体思路是，首先创建一个临时表，然后将DISTINCT之后的表数据插入到这个临时表中;然后清空原表数据;再讲临时表中的数据插入到原表中;最后删除临时表。

二、部分数据去重方法

首先查找重复数据

select 字段1,字段2,count() from 表名 groupby 字段1,字段2 havingcount() > 1

将上面的>号改为=号就可以查询出没有重复的数据了。

想要删除这些重复的数据，可以使用下面语句进行删除：

deletefrom 表名 a where 字段1,字段2 in

(select 字段1,字段2,count() from 表名 groupby 字段1,字段2 havingcount() > 1)

oracle产品服务

甲骨文公司产品主要有以下几类：

甲骨文股份有限公司

1服务器及工具

数据库服务器：2013年最新版本Oracle 12C。

应用服务器：Oracle Application Server。

开发工具：OracleJDeveloper，Oracle Designer，Oracle Developer，等等。

2企业应用软件

企业资源计划(ERP)软件。已有10年以上的历史。2005年，并购了开发企业软件的仁科软件公司(PeopleSoft)以增强在这方面的竞争力。

客户关系管理(CRM)软件。自1998年开始研发这种软件。2005年，并购了开发客户关系管理软件的希柏软件公司(Siebel)。

3 Oracle职业发展力计划(Oracle WDP)

Oracle WDP 全称为Oracle Workforce Development Program，是Oracle (甲骨文)公司专门面向学生、个人、在职人员等群体开设的职业发展力课程。Oracle的技术广泛应用于各行各业，其中电信、电力、金融、政府及大量制造业都需要Oracle技术人才，Oracle公司针对职业教育市场在全球推广的项目，其以低廉的成本给这部分人群提供Oracle技术培训，经过系统化的实训，让这部分人群能够迅速掌握Oracle最新的核心技术，并能胜任企业大型数据库管理、维护、开发工作。

示例

假设存在一个产品信息表Products，其表结构如下：

CREATE TABLE Products (  

ProductID int,  

ProductName nvarchar (40),  

Unit char(2),  

UnitPrice money  

)

表中数据如图：

图中可以看出，产品Chang和Tofu的记录在产品信息表中存在重复。现在要删除这些重复的记录，只保留其中的一条。步骤如下：

第一步——建立一张具有相同结构的临时表

CREATE TABLE Products_temp (  

ProductID int,  

ProductName nvarchar (40),  

Unit char(2),  

UnitPrice money  

)

第二步——为该表加上索引，并使其忽略重复的值

方法是在企业管理器中找到上面建立的临时表Products _temp，单击鼠标右键，选择所有任务，选择管理索引，选择新建。如图2所示。

按照图2中圈出来的地方设置索引选项

第三步——拷贝产品信息到临时表

insert into Products_temp Select  from Products

此时SQL Server会返回如下提示：

服务器: 消息 3604，级别 16，状态 1，行 1

已忽略重复的键。

它表明在产品信息临时表Products_temp中不会有重复的行出现。

第四步——将新的数据导入原表

将原产品信息表Products清空，并将临时表Products_temp中数据导入，最后删除临时表Products_temp。

delete Products  insert into Products select  from Products_temp drop table Products_temp

这样就完成了对表中重复记录的删除。无论表有多大，它的执行速度都是相当快的，而且因为几乎不用写语句，所以它也是很安全的

以上就是关于mysql查询去掉重复数据全部的内容，包括:mysql查询去掉重复数据、SQL查询中如何剔除重复、Mysql去掉重复数据的做法：distinct , group by。以及数据库的拓展等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！