技术分享 | 关于 MySQL 自增 ID 的事儿

当我们使用 MySQL 进行数据存储时，一般会为一张表设置一个自增主键，当有数据行插入时，该主键字段则会根据步长与偏移量增长（默认每次+1）。

下文以 Innodb 引擎为主进行介绍，使用自增主键的好处有很多，如：索引空间占比小、范围查询与排序都友好、避免像 UUID 这样随机字符串带来的页分裂问题等...

当我们对该表设置了自增主键之后，则会在该表上产生一个计数器，用于为自增列分配 ID 。

自增的值并不是保存在表结构信息内的，对于不同的版本它们有如下的区别：

计数器的值存储在内存中的，重启后丢弃，下一次将读取最大的一个自增ID往后继续发号。

https://dev.mysql.com/doc/refman/5.7/en/innodb-auto-increment-handling.html#innodb-auto-increment-initialization

计数器的值将会持久化到磁盘。在每次发号时都将写入 Redolog ，并在每个 Checkpoint 都进行保存，重启时候使用 Redolog 恢复重启之前的值。

https://dev.mysql.com/doc/refman/8.0/en/innodb-auto-increment-handling.html#innodb-auto-increment-initialization

可以预先确定插入行数的语句（像简单 insert 的语句包含多个 value 这种情况也是属于简单插入，因为在进行插入时就已经可以确定行数了）

预先不知道要插入的行数的语句（包括 INSERT ... SELECT, REPLACE ... SELECT 和 LOAD DATA 语句，但不包括 plain INSERT ）

如果一个事务正在向表中插入值，则会产生表级的共享锁，以便当前事务插入的行接收连续的主键值。

当处于[ 传统模式 ]与[ 连续模式 ]时，每次访问计数器时都会加上一个名为 AUTO-INC 的表级锁

传统模式：锁只持有到该语句执行结束，注意是语句结束，不是事务结束

连续模式：批量插入时锁持有到该语句执行结束，简单插入时锁持有到申请完自增ID后即释放，不直到语句完成

通过调整 innodb_autoinc_lock_mode 配置项，可以定义 AUTO-INC 锁的模式，不同的模式对应的策略与锁的粒度也将不同。

当使用基于 Binlog 的复制场景时，对于 statement（SBR）同步模式下只有[ 传统模式 ]与[ 连续模式 ]能保证语句的正确性。

基于 row（RBR）行复制的情况下任何配置模式都可以。

执行语句时加 AUTO-INC 表级锁，执行完毕后释放

针对 Bulk Inserts 时才会采用 AUTO-INC 锁，而针对 Simple Inserts 时，则采用了一种新的轻量级的互斥锁来分配 auto_increment 列的值。

该模式下可以保证同一条 insert 语句中新插入的自增 ID 都是连续的，但如果前一个事务 rollback 丢弃了一部分 ID 的话也会存在后续 ID 出现间隔的情况。

来一个分配一个，不会产生 AUTO-INC 表级锁 ，仅仅会锁住分配 ID 的过程。

由于锁的粒度减少，多条语句在插入时进行锁竞争，自增长的值可能不是连续的。

且当 Binlog 模式为 statement（SBR）时自增 ID 不能保证数据的正确性

不一定，业务也不应该过分依赖 MySQL 自增 ID 的连续性，在以下三种情况下，并不能保证自增 ID 的连续性：

假设已存在数据{1,张三}，且张三所属的字段设置了唯一主键

此时再次插入{null,张三}时候，主键冲突插入失败，但表的计数器已由2变成了3

当下次插入{null,李四}的时候最终入库的会变成{3,李四}

在一个事务里进行数据的插入，但最后并没提交，而是执行了 Rollback 。那么计数器已递增的 ID 是不会返还的，而是被直接丢弃。

发生大量插入时可能会出现自增 ID 并不是连续的情况

当我们为表设置了自增主键后，自增 ID 的范围则与主键的数据类型长度相关。

如果没有一张表里没有设置任何主键，则会自动生成一个隐性的6字节的 row_id 作为主键，它的取值范围为 0 到 2^48-1。

row_id 是由一个全局的 dict_sys.row_id 参数进行维护的，所有没有主键的表都会用上它（并不是每一个表单独占一份 row_id list ）

那么针对这两种主键，则会有以下两种情况发生：

当自增 ID 到达上限后，受到主键数据类型的影响，计数器发放的下一个 ID 也是当前这个 Max ID ，当执行语句时则会提示主键冲突。

建议根据业务合理规划，在进行表设计时就选择适合的数据类型。

当然也可以直接选择 Bigint 类型，它的取值范围是无符号情况下：0到 2^64–1（18446744073709551615）

这里并不是指 bigint 类型一定不会用完，毕竟一个有范围的持续增长的值一定会有溢出的时候，只是说一般场景下它都是足够使用的。

当 row_id 使用完后则又会从 0 开始发放，此时新插入的数据将覆盖回 row_id=0 的数据行。

由于它并不产生错误，还会造成数据的覆盖写。所以我们平时还是尽量给表都设置一个合理的主键才是。

在实际业务场景中，ID 常常需要返回给客户端用来进行相关业务 *** 作。

假如我们有个 userinfo?uid=? 的 API 接口，而用户 ID 是自增的，这时会发生什么？

该接口通过简单的尝试就可以暴露出真实的业务用户总数，可以很方便的使用爬虫从1开始递增获取数据信息。

那么有的同学说，我既想使用自增 ID 带来的好处，也不想承受这种比较常见的问题，那该怎么办呢？

在输出或者获取前对指定字段进行可逆的转义 *** 作

优点：实现起来比较简单，无论单体业务或者分布式应用都无需考虑对数据源的解析，只需在客户端实现自己的转义与解析方法即可；

缺点：业务入侵较大，且需要前后端各个合作方确认统一的标准；如果转义方法有调整，变更影响面也会很大；字符串长度会随ID长度而变化，使用空位填充也会特别明显；

优点：由于采用了时间戳进行 ID 生成，该 ID 是有序的，对范围查询与排序都比较友好；

缺点：需要保证发号节点的高可用性；另外由于生成时依赖时间戳，需要考虑时钟回拨与时钟同步的问题；

维护一份 ID 与 hash 的映射字典，它可以存在于客户端本身，也可以依赖其他如 Redis 、ETCD 之类的组件

优点：hash 长度不会随着 ID 长度或值的变化而变化；可以根据已有的 hash code 来造布隆过滤器；

缺点：业务入侵较大，查询时同样需要先根据 hash key 找到对应的 ID 值；需要考虑选择合适的 hash 算法以及解决 hash 冲突或扩容的问题。

在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一，单机递增),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究竟有什么坏处？

一、mysql和程序实例 1.1.要说明这个问题,我们首先来建立三张表

分别是user_auto_key,user_uuid,user_random_key,分别表示自动增长的主键,uuid作为主键,随机key作为主键,其它我们完全保持不变.

根据控制变量法,我们只把每个表的主键使用不同的策略生成,而其他的字段完全一样，然后测试一下表的插入速度和查询速度：

注：这里的随机key其实是指用雪花算法算出来的前后不连续不重复无规律的id:一串18位长度的long值

id自动生成表：

用户uuid表

随机主键表：

1.2.光有理论不行,直接上程序,使用spring的jdbcTemplate来实现增查测试：

技术框架：springboot+jdbcTemplate+junit+hutool,程序的原理就是连接自己的测试数据库,然后在相同的环境下写入同等数量的数据，来分析一下insert插入的时间来进行综合其效率，为了做到最真实的效果,所有的数据采用随机生成，比如名字、邮箱、地址都是随机生成。

package com.wyq.mysqldemo

import cn.hutool.core.collection.CollectionUtil

import com.wyq.mysqldemo.databaseobject.UserKeyAuto

import com.wyq.mysqldemo.databaseobject.UserKeyRandom

import com.wyq.mysqldemo.databaseobject.UserKeyUUID

import com.wyq.mysqldemo.diffkeytest.AutoKeyTableService

import com.wyq.mysqldemo.diffkeytest.RandomKeyTableService

import com.wyq.mysqldemo.diffkeytest.UUIDKeyTableService

import com.wyq.mysqldemo.util.JdbcTemplateService

import org.junit.jupiter.api.Test

import org.springframework.beans.factory.annotation.Autowired

import org.springframework.boot.test.context.SpringBootTest

import org.springframework.util.StopWatch

import java.util.List

@SpringBootTest

class MysqlDemoApplicationTests {

    @Autowired

    private JdbcTemplateService jdbcTemplateService

    @Autowired

    private AutoKeyTableService autoKeyTableService

    @Autowired

    private UUIDKeyTableService uuidKeyTableService

    @Autowired

    private RandomKeyTableService randomKeyTableService

    @Test

    void testDBTime() {

        StopWatch stopwatch = new StopWatch("执行sql时间消耗")

        /**

         * auto_increment key任务

         */

        final String insertSql = "INSERT INTO user_key_auto(user_id,user_name,sex,address,city,email,state) VALUES( , , , , , , )"

        List<UserKeyAuto>insertData = autoKeyTableService.getInsertData()

        stopwatch.start("自动生成key表任务开始")

        long start1 = System.currentTimeMillis()

        if (CollectionUtil.isNotEmpty(insertData)) {

            boolean insertResult = jdbcTemplateService.insert(insertSql, insertData, false)

            System.out.println(insertResult)

        }

        long end1 = System.currentTimeMillis()

        System.out.println("auto key消耗的时间:" + (end1 - start1))

        stopwatch.stop()

        /**

         * uudID的key

         */

        final String insertSql2 = "INSERT INTO user_uuid(id,user_id,user_name,sex,address,city,email,state) VALUES( , , , , , , , )"

        List<UserKeyUUID>insertData2 = uuidKeyTableService.getInsertData()

        stopwatch.start("UUID的key表任务开始")

        long begin = System.currentTimeMillis()

        if (CollectionUtil.isNotEmpty(insertData)) {

            boolean insertResult = jdbcTemplateService.insert(insertSql2, insertData2, true)

            System.out.println(insertResult)

        }

        long over = System.currentTimeMillis()

        System.out.println("UUID key消耗的时间:" + (over - begin))

        stopwatch.stop()

        /**

         * 随机的long值key

         */

        final String insertSql3 = "INSERT INTO user_random_key(id,user_id,user_name,sex,address,city,email,state) VALUES( , , , , , , , )"

        List<UserKeyRandom>insertData3 = randomKeyTableService.getInsertData()

        stopwatch.start("随机的long值key表任务开始")

        Long start = System.currentTimeMillis()

        if (CollectionUtil.isNotEmpty(insertData)) {

            boolean insertResult = jdbcTemplateService.insert(insertSql3, insertData3, true)

            System.out.println(insertResult)

        }

        Long end = System.currentTimeMillis()

        System.out.println("随机key任务消耗时间:" + (end - start))

        stopwatch.stop()

        String result = stopwatch.prettyPrint()

        System.out.println(result)

    }

1.3.程序写入结果

user_key_auto写入结果：

user_random_key写入结果：

user_uuid表写入结果

1.4.效率测试结果

在已有数据量为130W的时候：我们再来测试一下插入10w数据，看看会有什么结果：

可以看出在数据量100W左右的时候,uuid的插入效率垫底，并且在后序增加了130W的数据，uudi的时间又直线下降。

时间占用量总体可以打出的效率排名为：auto_key>random_key>uuid,uuid的效率最低，在数据量较大的情况下，效率直线下滑。那么为什么会出现这样的现象呢？带着疑问,我们来探讨一下这个问题：

二、使用uuid和自增id的索引结构对比 2.1.使用自增id的内部结构

自增的主键的值是顺序的,所以Innodb把每一条记录都存储在一条记录的后面。当达到页面的最大填充因子时候(innodb默认的最大填充因子是页大小的15/16,会留出1/16的空间留作以后的 ? ? 修改)：

①下一条记录就会写入新的页中，一旦数据按照这种顺序的方式加载，主键页就会近乎于顺序的记录填满，提升了页面的最大填充率，不会有页的浪费

②新插入的行一定会在原有的最大数据行下一行,mysql定位和寻址很快，不会为计算新行的位置而做出额外的消耗

③减少了页分裂和碎片的产生

2.2.使用uuid的索引内部结构

因为uuid相对顺序的自增id来说是毫无规律可言的,新行的值不一定要比之前的主键的值要大,所以innodb无法做到总是把新行插入到索引的最后,而是需要为新行寻找新的合适的位置从而来分配新的空间。

这个过程需要做很多额外的 *** 作，数据的毫无顺序会导致数据分布散乱，将会导致以下的问题：

①写入的目标页很可能已经刷新到磁盘上并且从缓存上移除，或者还没有被加载到缓存中，innodb在插入之前不得不先找到并从磁盘读取目标页到内存中，这将导致大量的随机IO

②因为写入是乱序的,innodb不得不频繁的做页分裂 *** 作,以便为新的行分配空间,页分裂导致移动大量的数据，一次插入最少需要修改三个页以上

③由于频繁的页分裂，页会变得稀疏并被不规则的填充，最终会导致数据会有碎片

在把随机值（uuid和雪花id）载入到聚簇索引(innodb默认的索引类型)以后,有时候会需要做一次OPTIMEIZE TABLE来重建表并优化页的填充，这将又需要一定的时间消耗。

结论：使用innodb应该尽可能的按主键的自增顺序插入，并且尽可能使用单调的增加的聚簇键的值来插入新行

2.3.使用自增id的缺点

那么使用自增的id就完全没有坏处了吗？并不是，自增id也会存在以下几点问题：

①别人一旦爬取你的数据库,就可以根据数据库的自增id获取到你的业务增长信息，很容易分析出你的经营情况

②对于高并发的负载，innodb在按主键进行插入的时候会造成明显的锁争用，主键的上界会成为争抢的热点，因为所有的插入都发生在这里，并发插入会导致间隙锁竞争

③Auto_Increment锁机制会造成自增锁的抢夺,有一定的性能损失

附：Auto_increment的锁争抢问题，如果要改善需要调优innodb_autoinc_lock_mode的配置

---