MYSQL 那点破事！索引、SQL调优、事务、B+树、分表 ....

大家好，我是Tom哥~

为了便于大家查找问题，了解全貌，整理个目录，我们可以快速全局了解关于mysql数据库，面试官一般喜欢问哪些问题

接下来，我们逐条来看看每个问题及答案

MyISAM 和 InnoDB 的区别？

答案：InnoDB 支持 事务、外键、聚集索引，通过MVCC来支持高并发，索引和数据存储在一起。InnoDB 不保存表的具体行数，执行 select count() from table 时需要全表扫描。而MyISAM 用一个变量保存了整个表的行数。

InnoDB 最小的锁粒度是行锁，MyISAM 最小的锁粒度是表锁，并发能力低。MySQL 将默认存储引擎是 InnoDB

mysql 锁有哪些类型？

答案：mysql锁分为共享锁( S lock ) 、排他锁 ( X lock )，也叫做读锁和写锁。根据粒度，可以分为表锁、页锁、行锁。

什么是间隙锁？

答案：间隙锁是可重复读级别下才会有的锁，mysql会帮我们生成了若干 左开右闭 的区间，结合MVCC和间隙锁可以解决幻读问题。

如何避免死锁？

答案：死锁的四个必要条件：1、互斥 2、请求与保持 3、环路等待 4、不可剥夺。

数据库的隔离级别？

答案：读未提交、读已提交、可重复读（mysql的默认级别，每次读取结果都一样，但是有可能产生幻读）、串行化。

Mysql有哪些类型的索引？

答案：

什么是覆盖索引和回表？

答案：

1、覆盖索引，指的是在一次查询中，一个索引包含所有需要查询的字段的值，可能是返回值或where条件

假如我们创建了一个(money，buyer_id)的联合索引，索引的叶子节点包含了 buyer_id 的信息，则不会再 回表 查询。

2、回表，指查询时一些字段值拿不到，需要到主键索引B+树再查一次。

Mysql的最左前缀原则？

答案：即最左优先，在检索数据时从联合索引的最左边开始匹配，直到遇到范围查询（如：> 、< 、between、like等）

例子：where a = 1 and b = 2 and c > 3 and d = 4 ，如果建立(a,b,c,d)组合索引，d是用不到索引的；如果建立(a,b,d,c)的索引则都可以用到，a,b,d的顺序可以任意调整。

线上SQL的调优经验？

答案：

官方为什么建议采用自增id 作为主键？

答案：自增id是连续的，插入过程也是顺序的，总是插入在最后，减少了页分裂，有效减少数据的移动。所以尽量不要使用字符串（如：UUID）作为主键。

索引为什么采用B+树，而不用B-树，红黑树？

答案：提升查询速度，首先要减少磁盘IO次数，也就是要降低树的高度。

事务的特性有哪些？

答案：ACID。

如何实现分布式事务？

答案：

日常工作中，MySQL 如何做优化？

答案：

mysql 主从同步具体过程？

答案：

什么是主从延迟？

答案：指一个写入SQL *** 作在主库执行完后，将数据完整同步到从库会有一个时间差，称之为主从延迟。计算公式：

注意：不同服务器要保持时钟一致

主从延迟排查方法？

答案：通过 show slave status 命令输出的 Seconds_Behind_Master 参数的值来判断

主从延迟要怎么解决？

答案：

如果数据量太大怎么办？

答案：mysql表的数据量一般控制在千万级别，如果再大的话，就要考虑分库分表。除了分表外，列举了面对海量数据业务的一些常见优化手段

分表后ID如何保证全局唯一呢？

答案：分库分表后，多张表共用一套全局id，原来单表主键自增方式满足不了要求。我们需要重新设计一套id生成器。特点：全局唯一、高性能、高可用、方便接入。

分表后可能遇到的哪些问题？

答案：分表后，与单表的最大区别是有分表键 sharding_key ，用来路由具体的物理表，以电商为例，有买家和卖家两个维度，以 buyer_id 路由，无法满足卖家的需求，反之同样道理。如何解决？

从 MySQL 57 开始，开发人员改变了 InnoDB 构建二级索引的方式，采用自下而上的方法，而不是早期版本中自上而下的方法了。在这篇文章中，我们将通过一个示例来说明如何构建 InnoDB 索引。最后，我将解释如何通过为 innodb_fill_factor 设置更合适的值。

索引构建过程

在有数据的表上构建索引，InnoDB 中有以下几个阶段：1读取阶段（从聚簇索引读取并构建二级索引条目）2合并排序阶段3插入阶段（将排序记录插入二级索引）在 56 版本之前，MySQL 通过一次插入一条记录来构建二级索引。这是一种“自上而下”的方法。搜索插入位置从树的根部（顶部）开始并达到叶页（底部）。该记录插入光标指向的叶页上。在查找插入位置和进行业面拆分和合并方面开销很大。从MySQL 57开始，添加索引期间的插入阶段使用“排序索引构建”，也称为“批量索引加载”。在这种方法中，索引是“自下而上”构建的。即叶页（底部）首先构建，然后非叶级别直到根（顶部）。

示例

在这些情况下使用排序的索引构建：

ALTER TABLE t1 ADD INDEX（or CREATE INDEX）

ALTER TABLE t1 ADD FULLTEXT INDEX

ALTER TABLE t1 ADD COLUMN, ALGORITHM = INPLACE

OPIMIZE t1

对于最后两个用例，ALTER 会创建一个中间表。中间表索引（主要和次要）使用“排序索引构建”构建。

算法

在 0 级别创建页，还要为此页创建一个游标

使用 0 级别处的游标插入页面，直到填满

页面填满后，创建一个兄弟页（不要插入到兄弟页）

为当前的整页创建节点指针（子页中的最小键，子页码），并将节点指针插入上一级（父页）

在较高级别，检查游标是否已定位。如果没有，请为该级别创建父页和游标

在父页插入节点指针

如果父页已填满，请重复步骤 3, 4, 5, 6

现在插入兄弟页并使游标指向兄弟页

在所有插入的末尾，每个级别的游标指向最右边的页。提交所有游标（意味着提交修改页面的迷你事务，释放所有锁存器）

为简单起见，上述算法跳过了有关压缩页和 BLOB（外部存储的 BLOB）处理的细节。

通过自下而上的方式构建索引

为简单起见，假设子页和非子页中允许的 最大记录数为 3

CREATE TABLE t1 (a INT PRIMARY KEY, b INT, c BLOB);

INSERT INTO t1 VALUES (1, 11, 'hello111');

INSERT INTO t1 VALUES (2, 22, 'hello222');

INSERT INTO t1 VALUES (3, 33, 'hello333');

INSERT INTO t1 VALUES (4, 44, 'hello444');

INSERT INTO t1 VALUES (5, 55, 'hello555');

INSERT INTO t1 VALUES (6, 66, 'hello666');

INSERT INTO t1 VALUES (7, 77, 'hello777');

INSERT INTO t1 VALUES (8, 88, 'hello888');

INSERT INTO t1 VALUES (9, 99, 'hello999');

INSERT INTO t1 VALUES (10, 1010, 'hello101010');

ALTER TABLE t1 ADD INDEX k1(b);

InnoDB 将主键字段追加到二级索引。二级索引 k1 的记录格式为(b, a)。在排序阶段完成后，记录为：

(11,1), (22,2), (33,3), (44,4), (55,5), (66,6), (77,7), (88,8), (99,9), (1010, 10)

初始插入阶段

让我们从记录 (11,1) 开始。

在 0 级别（叶级别）创建页

创建一个到页的游标

所有插入都将转到此页面，直到它填满了

箭头显示游标当前指向的位置。它目前位于第 5 页，下一个插入将转到此页面。

还有两个空闲插槽，因此插入记录 (22,2) 和 (33,3) 非常简单

对于下一条记录 (44,4)，页码 5 已满（前面提到的假设最大记录数为 3）。这就是步骤。

页填充时的索引构建

创建一个兄弟页，页码 6

不要插入兄弟页

在游标处提交页面，即迷你事务提交，释放锁存器等

作为提交的一部分，创建节点指针并将其插入到 当前级别 + 1 的父页面中（即在 1 级别）

节点指针的格式 (子页面中的最小键,子页码) 。第 5 页的最小键是 (11,1) 。在父级别插入记录 ((11,1)，5)。

1 级别的父页尚不存在，MySQL 创建页码 7 和指向页码 7 的游标。

将 ((11,1)，5) 插入第 7 页

现在，返回到 0 级并创建从第 5 页到第 6 页的链接，反之亦然

0 级别的游标现在指向兄弟页，页码为 6

将 (44,4) 插入第 6 页

下一个插入 - (55,5) 和 (66,6) - 很简单，它们转到第 6 页。

插入记录 (77,7) 类似于 (44,4)，除了父页面 （页面编号 7） 已经存在并且它有两个以上记录的空间。首先将节点指针 ((44,4),8) 插入第 7 页，然后将 (77,7) 记录到同级 8 页中。

插入记录 (88,8) 和 (99,9) 很简单，因为第 8 页有两个空闲插槽。

下一个插入 (1010,10) 。将节点指针 ((77,7),8) 插入 1级别的父页（页码 7）。

MySQL 在 0 级创建同级页码 9。将记录 (1010,10) 插入第 9 页并将光标更改为此页面。

以此类推。在上面的示例中，数据库在 0 级别提交到第 9 页，在 1 级别提交到第 7 页。

我们现在有了一个完整的 B+-tree 索引，它是自下至上构建的！

索引填充因子

全局变量 innodb_fill_factor 用于设置插入 B-tree 页中的空间量。默认值为 100，表示使用整个业面（不包括页眉）。聚簇索引具有 innodb_fill_factor=100 的免除项。 在这种情况下，聚簇索引也空间的 1 /16 保持空闲。即 625% 的空间用于未来的 DML。

值 80 意味着 MySQL 使用了 80% 的页空间填充，预留 20% 于未来的更新。如果 innodb_fill_factor=100 则没有剩余空间供未来插入二级索引。如果在添加索引后，期望表上有更多的 DML，则可能导致业面拆分并再次合并。在这种情况下，建议使用 80-90 之间的值。此变量还会影响使用 OPTIMIZE TABLE 和 ALTER TABLE DROP COLUMN, ALGOITHM=INPLACE 重新创建的索引。也不应该设置太低的值，例如低于 50。因为索引会占用浪费更多的磁盘空间，值较低时，索引中的页数较多，索引统计信息的采样可能不是最佳的。优化器可以选择具有次优统计信息的错误查询计划。

排序索引构建的优点

没有页面拆分（不包括压缩表）和合并

没有重复搜索插入位置

插入不会被重做记录（页分配除外），因此重做日志子系统的压力较小

缺点

ALTER 正在进行时，插入性能降低 Bug＃82940，但在后续版本中计划修复。

表结构

这种情况可以通过左连接实现

可以看到左连接是以左表为基准，通过关联关系id = pid去找到对应的上级组织记录，所以空的id找不到对应的记录，返回空

有时候我们需要获取某个组织的完整路径 如

部门C/部门C_2/部门C_2_1/部门C_2_1_1

编写存储过程，生成一个临时表tmpLst，按照层级把每一条记录插入到临时表，然后每次从临时表查当前层级的组织，循环去查组织表的上级组织，直到结果ROW_COUNT = 0为止，代表当前层级下的所有组织已经是最后一级

查询到的结果，大家可以自行优化一下显示方式和查询的字段

当然还有另一种方式，从设计上解决

如新加一个唯一约束，把组织的约束定义为 ORG_001_ORG_001_002_ORG_001_003 这样的形式

当需要查询ORG_001所有的下级时，只需要查询约束 like ORG_001% 即可

当需要查询ORG_001_002所有上级时，只需要查询约束 like %ORG_001_002

不过问题在于如果组织的存在架构调整，如，ORG_001_002调整到了 ORG_002下，因为树型结构变化了，直接用like无法查询到正确数据，这个时候要考虑是否允许调整或者调整后修改对应的唯一约束

在我而言这算是一个复习，然后总结出来给大家当个教材吧。

我也是看视频总结出来的笔记，所以说的都很简单和浅薄。有不全面或者偏颇的地方欢迎指出，共同交流进步哈。（因为我当时是看视频总结的笔记，所以可能说的比较杂乱，我尽量写的分明一点，在最后会附上笔记，忽略我字丑）

索引是什么呢？它相当于字典的目录。

索引：index是帮助mysql高效获取数据的数据结构，索引是数据结构（树，默认是B树），hash等。

索引的弊端: 事物都是两面的，有利必然有弊。

索引的优势： 索引有这么多弊端我们还使用的原因是因为优大于劣。

索引的分类：

举个小例子让大家更理解复合索引：如果我把一个表中name，age这两个列做成复合索引（注意顺序很重要）。那么我们形成的目录一级目录是name，二级目录是age。在name相同时才会age再形成目录。因为它本身的排序不是像目录一样一行一行列出来的，所以我们尽量用目录来想像它比较好理解。下面是图解：

有几点注意的事项：

这里说一下，上面说的方法都是原生的sql，比如我现在习惯使用navicat，所以可以直接 *** 作。。爽的不行。

然后删除查询也都是直接可视的，方便的不得了。就不多说了。

mysql做例子，还有个引擎是可以优化的。mysql中引擎分两种：

sql优化等级：

上面说的这些等级在explain中可以看到。

单表优化常用方法：

多表优化常用方法：

因为上面也提到了b树，所以还是单独聊聊吧。其实我也不是很理解。只能说一个浅显的认识而已。这里也就是简单的说一下。

首先，B树不仅可以二叉，还可以三叉，多叉。而只要大于二叉的都叫做BTree。

据说三层BTree可以存放上百万数据。

BTree一般都指B+树，数据全部存放在叶节点中。（这里简单的一个三叉树图）

好了，就写到这里吧，希望日后算法的知识会的更多以后能把B树这个坑填完~~~然后有不同意见或者自己理解的可以留言或者私聊。

全文手打，如果你觉得对你有帮助麻烦点个赞点个关注啥的~~

数据库里面最常用的排序算法莫过于合并排序。

优化的查找算法如二分查找、二叉树查找等，虽然查找效率提高了。但是各自对检索的数据都有要求：二分查找要求被检索数据有序，而二叉树查找只能应用于二叉查找树上，但是数据本身的组织结构不可能完全满足各种数据结构。

数据库查询是数据库的主要功能之一，最基本的查询算法是顺序查找时间复杂度为O(n)，显然在数据量很大时效率很低。优化的查找算法如二分查找、二叉树查找等，虽然查找效率提高了。

理解Mysql索引的原理和数据结构有助于我们更好的使用索引以及进行SQL优化，索引是在存储引擎层面实现的，所以不同的引擎实现的索引也有一定的区别，但是在生产环境中，我们最常用的就是InnoDB引擎和B树索引，OK，那本文要讨论的重点也同样是 InnoDB引擎下的B树索引 。

我们建立一个表来进行测试，表的DDL如下所示，我们要关注的是表t_book上的主键索引id和name author publish_date三列组成的索引test_index。

Mysql中的B树索引是使用B+树实现的，关于B+树的数据结构个人认为美团点评技术博客中Mysql索引原理及慢查询优化一文中介绍的非常详实，B+树的数据结构如下图所示。

图中浅蓝色块即磁盘块，根节点磁盘块中存储17和35两个数据，其中指针P1指向小于17的数据，指针P2指向大于17小于35的数据，指针P3指向大于35的数据。显然通过B+树索引查询数据与B+树的高度有关，如上图的B+树索引查找一个叶子节点的数据只需要三次磁盘IO，对于Mysql来说三层的B+树可以索引上百万的数据，这对于查询效率的提升是巨大的。

总结起来Mysql中B树索引有以下关键特点：

Mysql中的B树索引有两种数据存储形式，一种为聚簇索引，一种为二级索引。

InnoDB一般会使用表的主键来作为聚簇索引，如果一个表没有主键（不建议这么玩）InnoDB会选用一个唯一非空索引来代替，如果没有这样的索引，InnoDB会隐式建立一个聚簇索引。聚簇的含义即是数据行和相邻的键值紧凑的存储在一起，占据一块连续的磁盘空间，因此通过聚簇索引访问数据可以有效减少随机IO，通常使用聚簇索引查找比非聚簇索引查找速度更快。以我们建立的表t_book为例，聚簇索引即为自增主键id，其B树索引数据结构可以用下图来表示。

聚簇索引有以下关键特点：

InnoDB的B树索引中除了聚簇索引，就都是二级索引了，二级索引的含义是索引的叶子节点除了存储了索引值，还存储了主键id，在使用二级索引进行查询时，查找到二级索引B树上的叶子节点后还需要去聚簇索引上去查询真实数据，但是这里有一种特殊情况，即查询所需的所有字段在二级索引中都可以获取，此时就不需要再去回表查数据了，这种情况就是索引覆盖（EXPLAIN中EXTRA列中会出现USING INDEX，本文只关注索引结构，不详细讨论索引覆盖等技术的使用，如果深入理解索引的数据结构，索引覆盖等技术也没有那么神秘）。

在我们的测试表t_book中，test_index即为二级索引，由于我们把除了主键id所有的列都作为一个联合索引，所以在这个表上的查询都可以使用索引覆盖技术，但是具体生产环境中也不建议总是采用这种做法，索引列的增加也会增大插入更新数据时的索引更新成本，具体的优化要视具体情况决策。t_book上的二级索引test_index的索引结构由下图表示。

通过以上结构，我们可以推断出二级索引的以下关键特点：

索引覆盖：

最左前缀匹配：

二级索引可以说是我们在Mysql中最常用的索引，通过理解二级索引的索引结构可以更容易理解二级索引的特性和使用。

最后聊点轻松的索引结构，哈希索引就是通过哈希表实现的索引，即通过被索引的列计算出哈希值，并指向被索引的记录。

哈希索引有如下特性：

Mysql索引原理及慢查询优化

高性能Mysql 第三版

以上就是关于MYSQL 那点破事！索引、SQL调优、事务、B+树、分表 ....全部的内容，包括:MYSQL 那点破事！索引、SQL调优、事务、B+树、分表 ....、mysql innodb select count 查询速度慢，该怎么优化，已加二级索引，还是比较慢，400w数据、mysql树形结构的查询案例等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！