请教mysql大数据删除重复

数据清洗确实比较麻烦，但都是有工具可以使用的，设计好执行方法和流程，等结果即可。

500万数据量不大，我不清楚你使用的方法，所以简单说一下：

1.要设计好索引，非常影响执行效率，估计你的数据在离线数据库里，多尝试吧

2.先把数据分组，就是你认为只保留最新日期的，然后逐个组数据处理入库

3.数据可以放在内存，批量入库，减少读写次数，提高效率。

加油，祝好运。

望采纳。

过滤重复数据

有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。

如果你需要读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。

你也可以使用 GROUP BY 来读取数据表中不重复的数据：

资料来源：树懒学堂

---