MySQL数据库遇到字段冗余怎么办

删除重复的记录（重复记录保留1条），可以按以下方法删除

seleet distinct * into #Tmp from TableName

drop table TableName

select * into TableName from #Tmp

drop table #Tmp

数据部分字段重复，ID不重复

delete 表 where id not in(

SELECT MAX(id) AS id FROM 表 GROUP BY rows) --- 删除重复行

select * from 表 where id in(

SELECT MAX(id) AS id FROM 表 GROUP BY rows) --重复行只查询一条

mysql表很大sum不全的解决办法：

1、优化sql和索引。

2、加缓存，memcached，redis。

3、以上都做了后，还是慢，就做主从复制或主主复制，读写分离，可以在应用层做，效率高，也可以用三方工具，第三方工具推荐360的atlas，其它的要么效率不高，要么没人维护。

4、以上都做了还是慢，不要想着去做切分，mysql自带分区表，先试试这个，对应用是透明的，无需更改代码，sql语句是需要针对分区表做优化的，sql条件中要带上分区条件的列，从而使查询定位到少量的分区上，否则就会扫描全部分区。

5、以上都做了，那就先做垂直拆分，其实就是根据模块的耦合度，将一个大的系统分为多个小的系统，也就是分布式系统。

6、水平切分，针对数据量大的表，这一步最麻烦，最能考验技术水平，要选择一个合理的shardingkey，为了有好的查询效率，表结构也要改动，做一定的冗余，应用也要改，sql中尽量带shardingkey，将数据定位到限定的表上去查，而不是扫描全部的表。

---