在数据处理中经常会遇到去除重复数据的需要,由于数据格式的不同每次总是需要进行不同的 *** 作。结合平时的运用,总结了几种简单方法。一利用数据库数据量小的话可以用Access,大的话使用大型些的,如informix等。首先建立一个与源数据结构完全相同的表,根据去重的条件建立唯一索引。然后将数据通过导入工具导入该表,access将自动将插入不成功的数据过滤,对于按照索引重复的数据只能插入一条,轻易达到去重目的。此法适用于小数据量,不想写程序,一次性行为。对于大数据量的可以通过"大功率"的数据库系统采用类似的方法进行处理,如使用informix的dbload工具,忽略导入错误进行装入。二unix环境的shell命令先使用sort指令将文件中的数据按照要求的索引进行排序,然后使用uniq指令将重复数据去掉得到想要的结果。如有个文件atxt中有重复行,需要去除重复行时执行如下指令:#sort atxt > btxt;#uniq btxt > ctxtctxt文件就是所需数据了三编写程序
Oracle数据库重复的数据一般有两种去重方法,一、完全重复数据去重;二、部分字段数据重复去重。
一、完全重复数据去重方法
对于表中完全重复数据去重,可以采用以下SQL语句。
Code
CREATETABLE"#temp"AS (SELECTDISTINCT FROM 表名);--创建临时表,并把DISTINCT 去重后的数据插入到临时表中
truncateTABLE 表名;--清空原表数据
INSERTINTO 表名(SELECT FROM"#temp");--将临时表数据插入到原表中
DROPTABLE"#temp";--删除临时表
具体思路是,首先创建一个临时表,然后将DISTINCT之后的表数据插入到这个临时表中;然后清空原表数据;再讲临时表中的数据插入到原表中;最后删除临时表。
二、部分数据去重方法
首先查找重复数据
select 字段1,字段2,count() from 表名 groupby 字段1,字段2 havingcount() > 1
将上面的>号改为=号就可以查询出没有重复的数据了。
想要删除这些重复的数据,可以使用下面语句进行删除:
deletefrom 表名 a where 字段1,字段2 in
(select 字段1,字段2,count() from 表名 groupby 字段1,字段2 havingcount() > 1)
oracle产品服务
甲骨文公司产品主要有以下几类:
甲骨文股份有限公司
1服务器及工具
数据库服务器:2013年最新版本Oracle 12C。
应用服务器:Oracle Application Server。
开发工具:OracleJDeveloper,Oracle Designer,Oracle Developer,等等。
2企业应用软件
企业资源计划(ERP)软件。已有10年以上的历史。2005年,并购了开发企业软件的仁科软件公司(PeopleSoft)以增强在这方面的竞争力。
客户关系管理(CRM)软件。自1998年开始研发这种软件。2005年,并购了开发客户关系管理软件的希柏软件公司(Siebel)。
3 Oracle职业发展力计划(Oracle WDP)
Oracle WDP 全称为Oracle Workforce Development Program,是Oracle (甲骨文)公司专门面向学生、个人、在职人员等群体开设的职业发展力课程。Oracle的技术广泛应用于各行各业,其中电信、电力、金融、政府及大量制造业都需要Oracle技术人才,Oracle公司针对职业教育市场在全球推广的项目,其以低廉的成本给这部分人群提供Oracle技术培训,经过系统化的实训,让这部分人群能够迅速掌握Oracle最新的核心技术,并能胜任企业大型数据库管理、维护、开发工作。
delete from zhszty_ebook
where id not in(
select from (select max(id) from zhszty_ebook group by url
) as tmp);------------mysql有个特性,对于表进行修改,删除 *** 作,子查询不能和外层的查询的表一样,所以在加个select就可以了。其他数据库按照楼上的那个是没问题的
通过”distinct“命令进行去重。
sql:select distinct username from tablename;
解释:查询出tablename中字段username的所有值,此值是经过筛选的,即使多次出现也只为一个值。
不建议直接删除,养成良好的习惯(删除更麻烦),以下是将去重后的数据转移到另一张表代码:
Insert into 表名(列名)select distinct 列名 from 表名
你可以按照去重的思路,删除重复数据
SQL语句为:select distinct telephone (属性) from test(表名)
因为号码有重复,所以以号码telephone来查询,配合distinct,使得查询结果不重复。
使用关键字:distinct 即可去重。
扩展资料:
选择列表(select_list)指出所查询列,它可以是一组列名列表、星号、表达式、变量(包括局部变量和全局变量)等构成。
1、选择所有列
例如,下面语句显示testtable表中所有列的数据:
SELECT FROM testtable
2、选择部分列并指定它们的显示次序
查询结果集合中数据的排列顺序与选择列表中所指定的列名排列顺序相同。
3、更改列标题
在选择列表中,可重新指定列标题。定义格式为:
列标题=列名 列名 列标题
如果指定的列标题不是标准的标识符格式时,应使用引号定界符,例如,下列语句使用汉字显示列标题: SELECT 昵称=nickname,电子邮件=email FROM testtable。
4、删除重复行
SELECT语句中使用ALL或DISTINCT选项来显示表中符合条件的所有行或删除其中重复的数据行,默认为ALL。使用DISTINCT选项时,对于所有重复的数据行在SELECT返回的结果集合中只保留一行。
5、限制返回的行数
使用TOP n [PERCENT]选项限制返回的数据行数,TOP n说明返回n行,而TOP n PERCENT时,说明n是表示一百分数,指定返回的行数等于总行数的百分之几。TOP命令仅针对SQL Server系列数据库,并不支持Oracle数据库。
参考资料来源:百度百科-结构化查询语言
以上就是关于Informix 几种数据去重的方法全部的内容,包括:Informix 几种数据去重的方法、oracle查询出来的数据怎么消除重复数据、mysql数据库怎么去除重复数据等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)