mysql查询去掉重复数据

可以利用distinct关键字对需要处理的字段进行去重

使用group by关键字对去重数据进行去重查询，针对某个字段查询，直接group by 这个字段

在group by 的基础上 也可以使用 having 对查询结果进行二次筛选

distinct用来查询不重复记录的条数，即distinct来返回不重复字段的条数（count(distinct id)），其原因是distinct只能返回他的目标字段，而无法返回其他字段。

对单一一个字段使用distinct去除重复值时，会过滤掉多余重复相同的值，只返回唯一的值。

对多个字段同时使用distinct去除重复值时，distinct字段必须放在第一个字段前面，不能放在其他字段的后面。既distinct必须放在select后面，第一个字段的前面。同时，使用distinct多个字段去除重复数据时，必须满足各行中各列所对应的值都相同才能去除重复值，如果有其中一列的值不相同，那就表示这些数据不是重复的数据，不会过滤掉。

用法注意

1、distinct查询字段，必须放在要查询字段的开头，即放在第一个参数。

2、只能在SELECT语句中使用，不能在INSERT，DELETE，UPDATE中使用。

3、DISTINCT表示对后面的所有参数的拼接取不重复的记录，即查出的参数拼接每行记录都是唯一的。

4、不能与all同时使用，默认情况下，查询时返回的就是所有的结果。

1、首先创建一个百位表，并在该表中插入重复的记录，如下图所示。

2在插入之后，我们可以看到表中有重复的度数数据，如下图所示。

3接下来，我们必须记住在删除之前要备份，如下图所示。

4可以使用不同的字段设置排除重复的记录，如下图所示，然后将重复数据插入新表中。

5然后，您将在数据表下看到一个新构建的表，如下图所示。

6最后，打开新表，可以看到没有重复的数据，如下图所示。

一般情况下，数据库去重复有以下那么三种方法：

第一种：

两条记录或者多条记录的每一个字段值完全相同，这种情况去重复最简单，用关键字distinct就可以去掉。例：

SELECTDISTINCTFROMTABLE

第二种：

两条记录之间之后只有部分字段的值是有重复的，但是表存在主键或者唯一性ID。如果是这种情况的话用DISTINCT是过滤不了的，这就要用到主键id的唯一性特点及groupby分组。例：

SELECTFROMTABLEWHEREIDIN(SELECTMAX(ID)FROMTABLEGROUPBY[去除重复的字段名列表,])

第三种：

两条记录之间之后只有部分字段的值是有重复的，但是表不存在主键或者唯一性ID。这种情况可以使用临时表，讲数据复制到临时表并添加一个自增长的ID，在删除重复数据之后再删除临时表。例：

//创建临时表，并将数据写入到临时表

SELECTIDENTITY(INT1,1)ASID,INTONEWTABLE(临时表)FROMTABLE

//查询不重复的数据

SELECTFROMNEWTABLEWHEREIDIN(SELECTMAX(ID)FROMNEWTABLEGROUPBY[去除重复的字段名列表,])

//删除临时表

DROPTABLENEWTABLE

1存在两条完全相同的纪录

这是最简单的一种情况，用关键字distinct就可以去掉

例子： select distinct from table(表名) where (条件)

2存在部分字段相同的纪录（有主键id即唯一键）

如果是这种情况的话用distinct是过滤不了的，这就要用到主键id的唯一性特点及group by分组

例子:

3没有唯一键ID

这种情况我觉得最复杂，目前我只会一种方法，有那位知道其他方法的可以留言，交流一下：

例子:

distinct 关键字可从 select 语句的结果中消除重复的行。如果没有指定 distinct,将返回所有行,包括重复的行。

数据库(Database)是按照数据结构来组织、存储和管理数据的仓库，它产生于距今六十多年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。

数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。

在信息化社会，充分有效地管理和利用各类信息资源，是进行科学研究和决策管理的前提条件。数据库技术是管理信息系统、办公自动化系统、决策支持系统等各类信息系统的核心部分，是进行科学研究和决策管理的重要技术手段。

数据库，简单来说是本身可视为电子化的文件柜--存储电子文件的处所，用户可以对文件中的数据进行新增、截取、更新、删除等 *** 作。

数据库指的是以一定方式储存在一起、能为多个用户共享、具有尽可能小的冗余度的特点、是与应用程序彼此独立的数据集合。

在经济管理的日常工作中，常常需要把某些相关的数据放进这样的"仓库"，并根据管理的需要进行相应的处理。

例如，企业或事业单位的人事部门常常要把本单位职工的基本情况(职工号、姓名、年龄、性别、籍贯、工资、简历等)存放在表中，这张表就可以看成是一个数据库。

有了这个"数据仓库"我们就可以根据需要随时查询某职工的基本情况，也可以查询工资在某个范围内的职工人数等等。这些工作如果都能在计算机上自动进行，那我们的人事管理就可以达到极高的水平。

此外，在财务管理、仓库管理、生产管理中也需要建立众多的这种"数据库"，使其可以利用计算机实现财务、仓库、生产的自动化管理。

1 distinct

select distinct 列名 from 表名

2 row_number

select ,   row_number() over (partition by 想去重的列名 order by  列名) as row_num

from 表名

where row_num = 1

3group by

select 列名 from 表名 group by 列名

重复量多时，GROUP BY总的处理效率比DISTINCT高，重复量低时，DISTINCT就比GROUP BY快一点了，而如果随着整体数据量的增加，效果会越来越明显。

用SQL语句,删除掉重复项只保留一条

在几千条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复的呢

1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断

select from people

where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)

2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有rowid最小的记录

delete from people

where peopleName in (select peopleName from people group by peopleName having count(peopleName) > 1)

and peopleId not in (select min(peopleId) from people group by peopleName having count(peopleName)>1)

3、查找表中多余的重复记录（多个字段）

select from vitae a

where (apeopleId,aseq) in (select peopleId,seq from vitae group by peopleId,seq having count() > 1)

4、删除表中多余的重复记录（多个字段），只留有rowid最小的记录

delete from vitae a

where (apeopleId,aseq) in (select peopleId,seq from vitae group by peopleId,seq having count() > 1)

and rowid not in (select min(rowid) from vitae group by peopleId,seq having count()>1)

5、查找表中多余的重复记录（多个字段），不包含rowid最小的记录

select from vitae a

where (apeopleId,aseq) in (select peopleId,seq from vitae group by peopleId,seq having count() > 1)

and rowid not in (select min(rowid) from vitae group by peopleId,seq having count()>1)

6消除一个字段的左边的第一位：

update tableName set [Title]=Right([Title],(len([Title])-1)) where Title like '村%'

7消除一个字段的右边的第一位：

update tableName set [Title]=left([Title],(len([Title])-1)) where Title like '%村'

8假删除表中多余的重复记录（多个字段），不包含rowid最小的记录

update vitae set ispass=-1

where peopleId in (select peopleId from vitae group by peopleId

以上就是关于mysql查询去掉重复数据全部的内容，包括:mysql查询去掉重复数据、sql语句去重 distinct是什么、sql语句查询出的两行数据除了主键其他都一样,怎么去掉重复数据等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！