哈希算法从原理到实战

引言 

       将任意长度的二进制字符串映射为定长二进制字符串的映射规则我们称为散列（hash）算法，又叫哈希（hash）算法，而通过原始数据映射之后得到的二进制值称为哈希值。哈希表（hash表）结构是哈希算法的一种应用，也叫散列表。用的是数组支持按照下标随机访问数据的特性扩展、演化而来。可以说没有数组就没有散列表。

哈希算法主要特点

        从哈希值不能反向推导原始数据，也叫单向哈希。

        对输入数据敏感，哪怕只改了一个Bit，最后得到的哈希值也大不相同。

        散列冲突的概率要小。

        哈希算法执行效率要高，散列结果要尽量均衡。

哈希算法的核心应用

         安全加密 ：对于敏感数据比如密码字段进行MD5或SHA加密传输。

         唯一标识 ：比如识别，可针对图像二进制流进行摘要后MD5，得到的哈希值作为唯一标识。

         散列函数 :是构造散列表的关键。它直接决定了散列冲突的概率和散列表的性质。不过相对哈希算法的其他方面应用，散列函数对散列冲突要求较低，出现冲突时可以通过开放寻址法或链表法解决冲突。对散列值是否能够反向解密要求也不高。反而更加关注的是散列的均匀性，即是否散列值均匀落入槽中以及散列函数执行的快慢也会影响散列表性能。所以散列函数一般比较简单，追求均匀和高效。

        负载均衡 ：常用的负载均衡算法有很多，比如轮询、随机、加权轮询。如何实现一个会话粘滞的负载均衡算法呢？可以通过哈希算法，对客户端IP地址或会话SessionID计算哈希值，将取得的哈希值与服务器列表大小进行取模运算，最终得到应该被路由到的服务器编号。这样就可以把同一IP的客户端请求发到同一个后端服务器上。

        数据分片 ：比如统计1T的日志文件中“搜索关键词”出现次数该如何解决？我们可以先对日志进行分片，然后采用多机处理，来提高处理速度。从搜索的日志中依次读取搜索关键词，并通过哈希函数计算哈希值，然后再跟n(机器数)取模，最终得到的值就是应该被分到的机器编号。这样相同哈希值的关键词就被分到同一台机器进行处理。每台机器分别计算关键词出现的次数，再进行合并就是最终结果。这也是MapReduce的基本思想。再比如识别应用中给每个的摘要信息取唯一标识然后构建散列表，如果图库中有大量，单机的hash表会过大，超过单机内存容量。这时也可以使用分片思想，准备n台机器，每台机器负责散列表的一部分数据。每次从图库取一个，计算唯一标识，然后与机器个数n求余取模，得到的值就是被分配到的机器编号，然后将这个唯一标识和路径发往对应机器构建散列表。当进行查找时，使用相同的哈希函数对摘要信息取唯一标识并对n求余取模 *** 作后，得到的值k，就是当前所存储的机器编号，在该机器的散列表中查找该即可。实际上海量数据的处理问题，都可以借助这种数据分片思想，突破单机内存、CPU等资源限制。

        分布式存储 ：一致性哈希算法解决缓存等分布式系统的扩容、缩容导致大量数据搬移难题。

         JDK集合工具实现 ：HashMap、 LinkedHashMap、ConcurrentHashMap、TreeMap等。Map实现类源码分析，详见  >

文件哈希值快速计算工具(FileHashPro 2011) V1005 绿色中文版

可批量查询文件哈希值的工具，支持文件夹历遍，支持文件拖动，支持哈希过程可视化并可中断，提供32位和64位系统支持。

专业级的快速文件hash(哈希)计算工具，支持10G以上大文件，支持当前流行的多种hash算法：

nix系系统：

ES(Unix)

例子: IvS7aeT4NzQPM

说明：Linux或者其他linux内核系统中

长度: 13 个字符

描述：第1、2位为salt，例子中的'Iv'位salt，后面的为hash值

系统：MD5(Unix)

例子：$1$12345678$XM4P3PrKBgKNnTaqG9P0T/

说明：Linux或者其他linux内核系统中

长度：34个字符

描述：开始的$1$位为加密标志，后面8位12345678为加密使用的salt,后面的为hash

加密算法：2000次循环调用MD5加密

系统：SHA-512(Unix)

例子：$6$12345678$U6Yv5E1lWn6mEESzKen42o6rbEm

说明：Linux或者其他linux内核系统中

长度: 13 个字符

描述：开始的$6$位为加密标志，后面8位为salt，后面的为hash

加密算法：5000次的SHA-512加密

系统：SHA-256(Unix)

例子：$5$12345678$jBWLgeYZbSvREnuBr5s3gp13vqi

说明：Linux或者其他linux内核系统中

长度: 55 个字符

描述：开始的$5$位为加密标志，后面8位为salt，后面的为hash

加密算法：5000次的SHA-256加密

系统：MD5(APR)

例子：$apr1$12345678$auQSX8MvzttdBi4y6Xgj

说明：Linux或者其他linux内核系统中

长度：37个字符

描述：开始的$apr1$位为加密标志，后面8位为salt，后面的为hash

加密算法：2000次循环调用MD5加密

windows系统：

windows

例子：Admin:b474d48cdfc4974d86ef4d24904cdd91

长度：98个字符

加密算法：MD4(MD4(Unicode($pass))Unicode(strtolower($username)))

mysql

系统：mysql

例子：606717496665bcba

说明：老版本的MySql中

长度：8字节（16个字符）

说明：包括两个字节，且每个字的值不超过0x7fffffff

系统：MySQL5

例子：E6CC90B878B948C35E92B003C792C46C58C4AF40

说明：较新版本的MySQL

长度：20字节（40位）

加密算法：SHA-1(SHA-1($pass))

其他系统：

系统：MD5(WordPress)

例子：$P$B123456780BhGFYSlUqGyE6ErKErL01

说明：WordPress使用的md5

长度：34个字符

描述：$P$表示加密类型，然后跟着一位字符，经常是字符‘B’，后面是8位salt，后面是就是hash

加密算法：8192次md5循环加密

系统：MD5(phpBB3)

说明：phpBB 3xx使用

例子：$H$9123456785DAERgALpsriD9z3ht120

长度：34个字符

描述：开始的$H$为加密标志，后面跟着一个字符，一般的都是字符‘9’，然后是8位salt，然后是hash 值

加密算法：2048次循环调用MD5加密

系统：RAdmin v2x

说明：Remote Administrator v2x版本中

例子：5e32cceaafed5cc80866737dfb212d7f

长度：16字节（32个字符）

加密算法：字符用0填充到100字节后，将填充过后的字符经过md5加密得到（32位值）

md5加密

标准MD5

例子：c4ca4238a0b923820dcc509a6f75849b

使用范围：phpBB v2x, Joomla 的 1013版本前，及其他cmd

长度：16个字符

其他的加salt及变形类似：

md5($salt$pass)

例子:f190ce9ac8445d249747cab7be43f7d5:12

md5(md5($pass))

例子:28c8edde3d61a0411511d3b1866f0636

md5(md5($pass)$salt)

例子:6011527690eddca23580955c216b1fd2:wQ6

md5(md5($salt)md5($pass))

例子: 81f87275dd805aa018df8befe09fe9f8:wH6_S

md5(md5($salt)$pass)

例子: 816a14db44578f516cbaef25bd8d8296:1234

以上就是关于哈希算法从原理到实战全部的内容，包括:哈希算法从原理到实战、设有关键字序列(05,15,20,31,48,53,64,76,82,99),取Hash函数为:、怎么计算录屏文件哈希值和截图哈希值等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！