Android sql数据库数据去重，有一张表user，字段name，sex，phone，有多条记录这三个字段都是一样的

首先，用count语句把名字重复的筛选出来，count(1)

>1

然后，在结果中再使用自连接，查询电话相同或者不同的就得到结果了，因为相同姓名的，一般性别都一样，如果不一样，则需要再多连接一次进行筛选删除

法一:

用Group

by语句

此查找很快的select

count(num),

max(name)

from

student

–查找表中num列重复的，列出重复的记录数，并列出他的name属性group

by

numhaving

count(num)

>1

–按num分组后找出表中num列重复，即出现次数大于一次delete

from

student(上面Select的)这样的话就把所有重复的都删除了。—–慎重法二:当表比较大(例如10万条以上)时,这个方法的效率之差令人无法忍受,需要另想办法:—-

执行下面SQL语句后就可以显示所有DRAWING和DSNO相同且重复的记录SELECT

*

FROM

EM5_PIPE_PREFABWHERE

ROWID!=(SELECT

MAX(ROWID)

FROM

EM5_PIPE_PREFAB

D

–D相当于First,SecondWHERE

EM5_PIPE_PREFAB.DRAWING=D.DRAWING

ANDEM5_PIPE_PREFAB.DSNO=D.DSNO)—-

执行下面SQL语句后就可以删除所有DRAWING和DSNO相同且重复的记录DELETE

FROM

EM5_PIPE_PREFABWHERE

ROWID!=(SELECT

MAX(ROWID)

FROM

EM5_PIPE_PREFAB

DWHERE

EM5_PIPE_PREFAB.DRAWING=D.DRAWING

ANDEM5_PIPE_PREFAB.DSNO=D.DSNO)法一:

用Group

by语句

此查找很快的select

count(num),

max(name)

from

student

–查找表中num列重复的，列出重复的记录数，并列出他的name属性group

by

numhaving

count(num)

>1

–按num分组后找出表中num列重复，即出现次数大于一次delete

from

student(上面Select的)这样的话就把所有重复的都删除了。—–慎重法二:当表比较大(例如10万条以上)时,这个方法的效率之差令人无法忍受,需要另想办法:—-

执行下面SQL语句后就可以显示所有DRAWING和DSNO相同且重复的记录SELECT

*

FROM

EM5_PIPE_PREFABWHERE

ROWID!=(SELECT

MAX(ROWID)

FROM

EM5_PIPE_PREFAB

D

–D相当于First,SecondWHERE

EM5_PIPE_PREFAB.DRAWING=D.DRAWING

ANDEM5_PIPE_PREFAB.DSNO=D.DSNO)—-

执行下面SQL语句后就可以删除所有DRAWING和DSNO相同且重复的记录DELETE

FROM

EM5_PIPE_PREFABWHERE

ROWID!=(SELECT

MAX(ROWID)

FROM

EM5_PIPE_PREFAB

DWHERE

EM5_PIPE_PREFAB.DRAWING=D.DRAWING

ANDEM5_PIPE_PREFAB.DSNO=D.DSNO)

1、使用唯一性约束，不过如果是在事务中批量提交时，一个失败将导致整个事务rollback。

2、先用select查询数据是否重复，再决定是否要插入此条数据，实现起来比较麻烦，特别是字段较多时，效率方面未对比测试。

3、使用语句insert or ignore into table (fields) values (values)或replace into table (fields) values (values)此法比较简洁。需要注意的是，当表有一个PRIMARY KEY或UNIQUE索引才有意义。

---