如何查找文件夹内的相同文件（文件名不同，但文件内容相同）

假如你要处理的重复文件有不同的文件名，最简单的办法就是通过MD5来确定两个文件是不是一样的。

这个方法可以快速获得一个文件的MD5值，blocksize 可以根据文件大小和CPU性能调整，一般选择的值约等于文件的平均大小

利用hash遍历的思想，借助于python的dict技巧，这部分较为简单

这部分没什么好说的，简单。

两个不同的文件， MD5 相同的几率是零。‍

MD5即Message-Digest Algorithm 5（信息-摘要算法5），用于确保信息传输完整一致。是计算机广泛使用的杂凑算法之一（又译摘要算法、哈希算法）

MD5的最大特点是抗修改性：对原数据进行任何改动，哪怕只修改1个字节，所得到的MD5值都有很大区别。

---