mysql实现的雪花算法_mysql

概述mysql实现的雪花算法

【相关学习推荐：mysql视频教程】

一、为何要用雪花算法

1、问题产生的背景

现如今越来越多的公司都在用分布式、微服务，那么对应的就会针对不同的服务进行数据库拆分，然后当数据量上来的时候也会进行分表，那么随之而来的就是分表以后ID的问题。

例如之前单体项目中一个表中的数据主键ID都是自增的，MysqL是利用autoincrement来实现自增，而oracle是利用序列来实现的，但是当单表数据量上来以后就要进行水平分表，阿里java开发建议是单表大于500w的时候就要分表，但是具体还是得看业务，如果索引用的号的话，单表千万的数据也是可以的。水平分表就是将一张表的数据分成多张表，那么问题就来了如果还是按照以前的自增来做主键ID，那么就会出现ID重复，这个时候就得考虑用什么方案来解决分布式ID的问题了。

2、解决方案

2.1、数据库表

可以在某个库中专门维护一张表，然后每次无论哪个表需要自增ID的时候都去查这个表的记录，然后用for update锁表，然后取到的值加一，然后返回以后把再把值记录到表中，但是这个方法适合并发量比较小的项目，因此每次都得锁表。

2.2、redis

因为redis是单线程的，可以在redis中维护一个键值对，然后哪个表需要直接去redis中取值然后加一，但是这个跟上面一样由于单线程都是对高并发的支持不高，只适合并发量小的项目。

2.3、uuID

可以使用uuID作为不重复主键ID，但是uuID有个问题就是其是无序的字符串，如果使用uuID当做主键，那么主键索引就会失效。

2.4、雪花算法

雪花算法是解决分布式ID的一个高效的方案，大部分互联网公司都在使用雪花算法，当然还有公司自己实现其他的方案。

二、雪花算法

1、原理

雪花算法就是使用64位long类型的数据存储ID，最高位一位存储0或者1,0代表整数，1代表负数，一般都是0，所以最高位不变，41位存储毫秒级时间戳，10位存储机器码（包括5位datacenterID和5位workerID），12存储序列号。这样最大2的10次方的机器，也就是1024台机器，最多每毫秒每台机器产生2的12次方也就是4096个ID。（下面有代码实现）

但是一般我们没有那么多台机器，所以我们也可以使用53位来存储ID。为什么要用53位？

因为我们几乎都是跟web页面打交道，就需要跟Js打交道，Js支持最大的整型范围为53位，超过这个范围就会丢失精度，53之内可以直接由Js读取，超过53位就需要转换成字符串才能保证Js处理正确。53存储的话，32位存储秒级时间戳，5位存储机器码，16位存储序列化，这样每台机器每秒可以生产65536个不重复的ID。

2、缺点

由于雪花算法严重依赖时间，所以当发生服务器时钟回拨的问题是会导致可能产生重复的ID。当然几乎没有公司会修改服务器时间，修改以后会导致各种问题，公司宁愿新加一台服务器也不愿意修改服务器时间，但是不排除特殊情况。

如何解决时钟回拨的问题？可以对序列化的初始值设置步长，每次触发时钟回拨事件，则其初始步长就加1w，可以在下面代码的第85行来实现，将sequence的初始值设置为10000。

三、代码实现

64位的代码实现：

package com.yl.common;/** * Twitter_SNowflake<br> * SNowFlake的结构如下(每部分用-分开):<br> * 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000 <br> * 1位标识，由于long基本类型在Java中是带符号的，最高位是符号位，正数是0，负数是1，所以ID一般是正数，最高位是0<br> * 41位时间截(毫秒级)，注意，41位时间截不是存储当前时间的时间截，而是存储时间截的差值（当前时间截 - 开始时间截) * 得到的值），这里的的开始时间截，一般是我们的ID生成器开始使用的时间，由我们程序来指定的（如下下面程序IDWorker类的startTime属性）。41位的时间截，可以使用69年，年T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69<br> * 10位的数据机器位，可以部署在1024个节点，包括5位datacenterID和5位workerID<br> * 12位序列，毫秒内的计数，12位的计数顺序号支持每个节点每毫秒(同一机器，同一时间截)产生4096个ID序号<br> * 加起来刚好64位，为一个Long型。<br> * SNowFlake的优点是，整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞(由数据中心ID和机器ID作区分)，并且效率较高，经测试，SNowFlake每秒能够产生26万ID左右。 */public class SNowflakeIDWorker { // ==============================FIElds=========================================== /** 开始时间截 (2020-01-01) */ private final long twepoch = 1577808000000L; /** 机器ID所占的位数 */ private final long workerIDBits = 5L; /** 数据标识ID所占的位数 */ private final long datacenterIDBits = 5L; /** 支持的最大机器ID，结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数) */ private final long maxWorkerID = -1L ^ (-1L << workerIDBits); /** 支持的最大数据标识ID，结果是31 */ private final long maxDatacenterID = -1L ^ (-1L << datacenterIDBits); /** 序列在ID中占的位数 */ private final long sequenceBits = 12L; /** 机器ID向左移12位 */ private final long workerIDShift = sequenceBits; /** 数据标识ID向左移17位(12+5) */ private final long datacenterIDShift = sequenceBits + workerIDBits; /** 时间截向左移22位(5+5+12) */ private final long timestampleftShift = sequenceBits + workerIDBits + datacenterIDBits; /** 生成序列的掩码，这里为4095 (0b111111111111=0xfff=4095) */ private final long sequenceMask = -1L ^ (-1L << sequenceBits); /** 工作机器ID(0~31) */ private long workerID; /** 数据中心ID(0~31) */ private long datacenterID; /** 毫秒内序列(0~4095) */ private long sequence = 0L; /** 上次生成ID的时间截 */ private long lastTimestamp = -1L; //==============================Constructors===================================== /** * 构造函数 * @param workerID 工作ID (0~31) * @param datacenterID 数据中心ID (0~31) */ public SNowflakeIDWorker(long workerID, long datacenterID) { if (workerID > maxWorkerID || workerID < 0) { throw new IllegalArgumentException(String.format("worker ID can't be greater than %d or less than 0", maxWorkerID)); } if (datacenterID > maxDatacenterID || datacenterID < 0) { throw new IllegalArgumentException(String.format("datacenter ID can't be greater than %d or less than 0", maxDatacenterID)); } this.workerID = workerID; this.datacenterID = datacenterID; } // ==============================Methods========================================== /** * 获得下一个ID (该方法是线程安全的) * @return SNowflakeID */ public synchronized long nextID() { long timestamp = timeGen(); //如果当前时间小于上一次ID生成的时间戳，说明系统时钟回退过这个时候应当抛出异常 if (timestamp < lastTimestamp) { throw new RuntimeException(  String.format("Clock moved backwards. Refusing to generate ID for %d milliseconds", lastTimestamp - timestamp)); } //如果是同一时间生成的，则进行毫秒内序列 if (lastTimestamp == timestamp) { sequence = (sequence + 1) & sequenceMask; //毫秒内序列溢出 if (sequence == 0) { //阻塞到下一个毫秒,获得新的时间戳 timestamp = tilNextMillis(lastTimestamp); } } //时间戳改变，毫秒内序列重置 else { sequence = 0L; } //上次生成ID的时间截 lastTimestamp = timestamp; //移位并通过或运算拼到一起组成64位的ID return ((timestamp - twepoch) << timestampleftShift) // | (datacenterID << datacenterIDShift) // | (workerID << workerIDShift) // | sequence; } /** * 阻塞到下一个毫秒，直到获得新的时间戳 * @param lastTimestamp 上次生成ID的时间截 * @return 当前时间戳 */ protected long tilNextMillis(long lastTimestamp) { long timestamp = timeGen(); while (timestamp <= lastTimestamp) { timestamp = timeGen(); } return timestamp; } /** * 返回以毫秒为单位的当前时间 * @return 当前时间(毫秒) */ protected long timeGen() { return System.currentTimeMillis(); } //==============================Test============================================= /** 测试 */ public static voID main(String[] args) { SNowflakeIDWorker IDWorker = new SNowflakeIDWorker(0, 0);  for (int i = 0; i < 100; i++) { long ID = IDWorker.nextID(); System.out.println(ID); } }}

补充知识：雪花算法实现分布式自增长ID

我就废话不多说了，大家还是直接看代码吧~

/** * <p>名称：IDWorker.java</p> * <p>描述：分布式自增长ID</p> * <pre> * Twitter的 SNowflake　JAVA实现方案 * </pre> * 核心代码为其IDWorker这个类实现，其原理结构如下，我分别用一个0表示一位，用—分割开部分的作用： * 1||0---0000000000 0000000000 0000000000 0000000000 0 --- 00000 ---00000 ---000000000000 * 在上面的字符串中，第一位为未使用（实际上也可作为long的符号位），接下来的41位为毫秒级时间， * 然后5位datacenter标识位，5位机器ID（并不算标识符，实际是为线程标识）， * 然后12位该毫秒内的当前毫秒内的计数，加起来刚好64位，为一个Long型。 * 这样的好处是，整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞（由datacenter和机器ID作区分）， * 并且效率较高，经测试，sNowflake每秒能够产生26万ID左右，完全满足需要。 * <p> * 64位ID (42(毫秒)+5(机器ID)+5(业务编码)+12(重复累加)) * * @author Polim */public class IDWorker { // 时间起始标记点，作为基准，一般取系统的最近时间（一旦确定不能变动） private final static long twepoch = 1288834974657L; // 机器标识位数 private final static long workerIDBits = 5L; // 数据中心标识位数 private final static long datacenterIDBits = 5L; // 机器ID最大值 private final static long maxWorkerID = -1L ^ (-1L << workerIDBits); // 数据中心ID最大值 private final static long maxDatacenterID = -1L ^ (-1L << datacenterIDBits); // 毫秒内自增位 private final static long sequenceBits = 12L; // 机器ID偏左移12位 private final static long workerIDShift = sequenceBits; // 数据中心ID左移17位 private final static long datacenterIDShift = sequenceBits + workerIDBits; // 时间毫秒左移22位 private final static long timestampleftShift = sequenceBits + workerIDBits + datacenterIDBits; private final static long sequenceMask = -1L ^ (-1L << sequenceBits); /* 上次生产ID时间戳 */ private static long lastTimestamp = -1L; // 0，并发控制 private long sequence = 0L; private final long workerID; // 数据标识ID部分 private final long datacenterID; public IDWorker(){ this.datacenterID = getDatacenterID(maxDatacenterID); this.workerID = getMaxWorkerID(datacenterID, maxWorkerID); } /** * @param workerID *  工作机器ID * @param datacenterID *  序列号 */ public IDWorker(long workerID, long datacenterID) { if (workerID > maxWorkerID || workerID < 0) {  throw new IllegalArgumentException(String.format("worker ID can't be greater than %d or less than 0", maxWorkerID)); } if (datacenterID > maxDatacenterID || datacenterID < 0) {  throw new IllegalArgumentException(String.format("datacenter ID can't be greater than %d or less than 0", maxDatacenterID)); } this.workerID = workerID; this.datacenterID = datacenterID; } /** * 获取下一个ID * * @return */ public synchronized long nextID() { long timestamp = timeGen(); if (timestamp < lastTimestamp) {  throw new RuntimeException(String.format("Clock moved backwards. Refusing to generate ID for %d milliseconds", lastTimestamp - timestamp)); } if (lastTimestamp == timestamp) {  // 当前毫秒内，则+1  sequence = (sequence + 1) & sequenceMask;  if (sequence == 0) {  // 当前毫秒内计数满了，则等待下一秒  timestamp = tilNextMillis(lastTimestamp);  } } else {  sequence = 0L; } lastTimestamp = timestamp; // ID偏移组合生成最终的ID，并返回ID long nextID = ((timestamp - twepoch) << timestampleftShift)  | (datacenterID << datacenterIDShift)  | (workerID << workerIDShift) | sequence; return nextID; } private long tilNextMillis(final long lastTimestamp) { long timestamp = this.timeGen(); while (timestamp <= lastTimestamp) {  timestamp = this.timeGen(); } return timestamp; } private long timeGen() { return System.currentTimeMillis(); } /** * <p> * 获取 maxWorkerID * </p> */ protected static long getMaxWorkerID(long datacenterID, long maxWorkerID) { StringBuffer mpID = new StringBuffer(); mpID.append(datacenterID); String name = ManagementFactory.getRuntimeMXBean().getname(); if (!name.isEmpty()) {  /*  * GET jvmPID  */  mpID.append(name.split("@")[0]); } /* * MAC + PID 的 hashcode 获取16个低位 */ return (mpID.toString().hashCode() & 0xffff) % (maxWorkerID + 1); } /** * <p> * 数据标识ID部分 * </p> */ protected static long getDatacenterID(long maxDatacenterID) { long ID = 0L; try {  InetAddress ip = InetAddress.getLocalHost();  NetworkInterface network = NetworkInterface.getByInetAddress(ip);  if (network == null) {  ID = 1L;  } else {  byte[] mac = network.getHarDWareAddress();  ID = ((0x000000FF & (long) mac[mac.length - 1])   | (0x0000FF00 & (((long) mac[mac.length - 2]) << 8))) >> 6;  ID = ID % (maxDatacenterID + 1);  } } catch (Exception e) {  System.out.println(" getDatacenterID: " + e.getMessage()); } return ID; }}