从 MySQL 5.7 开始,开发人员改变了 InnoDB 构建二级索引的方式,采用自下而上的方法,而不是早期版本中自上而下的方法了。在这篇文章中,我们将通过一个示例来说明如何构建 InnoDB 索引。最后,我将解释如何通过为 innodb_fill_factor 设置更合适的值。
索引构建过程
在有数据的表上构建索引,InnoDB 中有以下几个阶段:1.读取阶段(从聚簇索引读取并构建二级索引条目)2.合并排序阶段3.插入阶段(将排序记录插入二级索引)在 5.6 版本之前,MySQL 通过一次插入一条记录来构建二级索引。这是一种“自上而下”的方法。搜索插入位置从树的根部(顶部)开始并达到叶页(底部)。该记录插入光标指向的叶页上。在查找插入位置和进行业面拆分和合并方面开销很大。从MySQL 5.7开始,添加索引期间的插入阶段使用“排序索引构建”,也称为“批量索引加载”。在这种方法中,索引是“自下而上”构建的。即叶页(底部)首先构建,然后非叶级别直到根(顶部)。
示例
在这些情况下使用排序的索引构建:
ALTER TABLE t1 ADD INDEX(or CREATE INDEX)
ALTER TABLE t1 ADD FULLTEXT INDEX
ALTER TABLE t1 ADD COLUMN, ALGORITHM = INPLACE
OPIMIZE t1
对于最后两个用例,ALTER 会创建一个中间表。中间表索引(主要和次要)使用“排序索引构建”构建。
算法
在 0 级别创建页,还要为此页创建一个游标
使用 0 级别处的游标插入页面,直到填满
页面填满后,创建一个兄弟页(不要插入到兄弟页)
为当前的整页创建节点指针(子页中的最小键,子页码),并将节点指针插入上一级(父页)
在较高级别,检查游标是否已定位。如果没有,请为该级别创建父页和游标
在父页插入节点指针
如果父页已填满,请重复步骤 3, 4, 5, 6
现在插入兄弟页并使游标指向兄弟页
在所有插入的末尾,每个级别的游标指向最右边的页。提交所有游标(意味着提交修改页面的迷你事务,释放所有锁存器)
为简单起见,上述算法跳过了有关压缩页和 BLOB(外部存储的 BLOB)处理的细节。
通过自下而上的方式构建索引
为简单起见,假设子页和非子页中允许的 最大记录数为 3
CREATE TABLE t1 (a INT PRIMARY KEY, b INT, c BLOB)
INSERT INTO t1 VALUES (1, 11, 'hello111')
INSERT INTO t1 VALUES (2, 22, 'hello222')
INSERT INTO t1 VALUES (3, 33, 'hello333')
INSERT INTO t1 VALUES (4, 44, 'hello444')
INSERT INTO t1 VALUES (5, 55, 'hello555')
INSERT INTO t1 VALUES (6, 66, 'hello666')
INSERT INTO t1 VALUES (7, 77, 'hello777')
INSERT INTO t1 VALUES (8, 88, 'hello888')
INSERT INTO t1 VALUES (9, 99, 'hello999')
INSERT INTO t1 VALUES (10, 1010, 'hello101010')
ALTER TABLE t1 ADD INDEX k1(b)
InnoDB 将主键字段追加到二级索引。二级索引 k1 的记录格式为(b, a)。在排序阶段完成后,记录为:
(11,1), (22,2), (33,3), (44,4), (55,5), (66,6), (77,7), (88,8), (99,9), (1010, 10)
初始插入阶段
让我们从记录 (11,1) 开始。
在 0 级别(叶级别)创建页
创建一个到页的游标
所有插入都将转到此页面,直到它填满了
箭头显示游标当前指向的位置。它目前位于第 5 页,下一个插入将转到此页面。
还有两个空闲插槽,因此插入记录 (22,2) 和 (33,3) 非常简单
对于下一条记录 (44,4),页码 5 已满(前面提到的假设最大记录数为 3)。这就是步骤。
页填充时的索引构建
创建一个兄弟页,页码 6
不要插入兄弟页
在游标处提交页面,即迷你事务提交,释放锁存器等
作为提交的一部分,创建节点指针并将其插入到 【当前级别 + 1】 的父页面中(即在 1 级别)
节点指针的格式 (子页面中的最小键,子页码) 。第 5 页的最小键是 (11,1) 。在父级别插入记录 ((11,1),5)。
1 级别的父页尚不存在,MySQL 创建页码 7 和指向页码 7 的游标。
将 ((11,1),5) 插入第 7 页
现在,返回到 0 级并创建从第 5 页到第 6 页的链接,反之亦然
0 级别的游标现在指向兄弟页,页码为 6
将 (44,4) 插入第 6 页
下一个插入 - (55,5) 和 (66,6) - 很简单,它们转到第 6 页。
插入记录 (77,7) 类似于 (44,4),除了父页面 (页面编号 7) 已经存在并且它有两个以上记录的空间。首先将节点指针 ((44,4),8) 插入第 7 页,然后将 (77,7) 记录到同级 8 页中。
插入记录 (88,8) 和 (99,9) 很简单,因为第 8 页有两个空闲插槽。
下一个插入 (1010,10) 。将节点指针 ((77,7),8) 插入 1级别的父页(页码 7)。
MySQL 在 0 级创建同级页码 9。将记录 (1010,10) 插入第 9 页并将光标更改为此页面。
以此类推。在上面的示例中,数据库在 0 级别提交到第 9 页,在 1 级别提交到第 7 页。
我们现在有了一个完整的 B+-tree 索引,它是自下至上构建的!
索引填充因子
全局变量 innodb_fill_factor 用于设置插入 B-tree 页中的空间量。默认值为 100,表示使用整个业面(不包括页眉)。聚簇索引具有 innodb_fill_factor=100 的免除项。 在这种情况下,聚簇索引也空间的 1 /16 保持空闲。即 6.25% 的空间用于未来的 DML。
值 80 意味着 MySQL 使用了 80% 的页空间填充,预留 20% 于未来的更新。如果 innodb_fill_factor=100 则没有剩余空间供未来插入二级索引。如果在添加索引后,期望表上有更多的 DML,则可能导致业面拆分并再次合并。在这种情况下,建议使用 80-90 之间的值。此变量还会影响使用 OPTIMIZE TABLE 和 ALTER TABLE DROP COLUMN, ALGOITHM=INPLACE 重新创建的索引。也不应该设置太低的值,例如低于 50。因为索引会占用浪费更多的磁盘空间,值较低时,索引中的页数较多,索引统计信息的采样可能不是最佳的。优化器可以选择具有次优统计信息的错误查询计划。
排序索引构建的优点
没有页面拆分(不包括压缩表)和合并
没有重复搜索插入位置
插入不会被重做记录(页分配除外),因此重做日志子系统的压力较小
缺点
ALTER 正在进行时,插入性能降低 Bug#82940,但在后续版本中计划修复。
请点击输入图片描述
经典问题:1、如果 A,B 两列都有索引,那么
select * from Table where A=a or B=b
会走索引码:
答案:会,因为 A,B都有索引;
2、如果 A,B有索引,但是C没有索引;
select * from Table where A=a or B=b or C =c;
会走索引吗?
答案:不会走,因为C是or的形式,且没有索引,看下面的分析:
3、如果 建了A B联合索引,但是查询的时候 是B A,会走索引吗?
select * from Table where B=b and A=a ;
答案: 会走索引,mysql会自动优化;
3、如果 建了A B联合索引,也建了 B,A 联合索引,但是查询的时候 是B A,会走那个索引吗?
select * from Table where B=b and A=a ;
答案: 不一定走 BA 索引,走那个索引,需要mysql会把sql优化,看 A列的数据过滤多,还是B的过滤多;,如果 A的列数据能过滤更多数据,那么会走AB,如果B的列能过滤更多数据,则走BA;
大家都知道,一条查询语句走了索引和没走索引的查询效率是非常大的,在我们建好了表,建好了索引后,但是一些不好的sql会导致我们的索引失效,下面介绍一下索引失效的几种情况
数据准备
新建一张学生表,并添加id为主键索引,name为普通索引,(name,age)为组合索引
CREATE TABLE `student` (
`id` int NOT NULL COMMENT 'id',
`name` varchar(255) COLLATE utf8mb4_bin DEFAULT NULL COMMENT '姓名',
`age` int DEFAULT NULL COMMENT '年龄',
`birthday` datetime DEFAULT NULL COMMENT '生日',
PRIMARY KEY (`id`),
KEY `idx_name` (`name`) USING BTREE,
KEY `idx_name_age` (`name`,`age`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin
插入数据
INSERT INTO `student` VALUES (1, '张三', 18, '2021-12-23 17:12:44')
INSERT INTO `student` VALUES (2, '李四', 20, '2021-12-22 17:12:48')
1.查询条件中有or,即使有部分条件带索引也会失效
例:
explain SELECT * FROM `student` where id =1
此时命中主键索引,当查询语句带有or后
explain SELECT * FROM `student` where id =1 or birthday = "2021-12-23"
发现此时type=ALL,全表扫描,未命中索引
总结:查询条件中带有or,除非所有的查询条件都建有索引,否则索引失效
2.like查询是以%开头
例
explain select * from student where name = "张三"
非模糊查询,此时命中name索引,当使用模糊查询后
explain select * from student where name like "%三"
发现此时type=ALL,全表扫描,未命中索引
3.如果列类型是字符串,那在查询条件中需要将数据用引号引用起来,否则不走索引
例
explain select * from student where name = "张三"
此时命中name索引,当数据未携带引号后
explain select * from student where name = 2222
此时未命中name索引,全表扫描
总结:字符串的索引字段在查询是数据需要用引号引用
4.索引列上参与计算会导致索引失效
例
explain select * from student where id-1 = 1
查询条件为id,但是并没有命中主键索引,因为在索引列上参与了计算
正例
select * from student where id = 2
总结:将参与计算的数值先算好,再查询
5.违背最左匹配原则
例
explain select * from student where age =18
age的索引是和建立再(name,age)组合索引的基础上,当查询条件中没有第一个组合索引的字段(name)会导致索引失效
正例
explain select * from student where age =18 and name ="张三"
此时才会命中name和(name,age)这个索引
6.如果mysql估计全表扫描要比使用索引要快,会不适用索引
7.other
1) 没有查询条件,或者查询条件没有建立索引
2) 在查询条件上没有使用引导列
3) 查询的数量是大表的大部分,应该是30%以上。
4) 索引本身失效
5) 查询条件使用函数在索引列上,或者 对索引列进行运算, 运算包括(+,-,*,/,! 等) 错误的例子:select * from test where id-1=9正确的例子:select * from test where id=10
6) 对小表查询
7) 提示不使用索引
8) 统计数据不真实
9) CBO计算走索引花费过大的情况。其实也包含了上面的情况,这里指的是表占有的block要比索引小。
10)隐式转换导致索引失效.这一点应当引起重视.也是开发中经常会犯的错误. 由于表的字段tu_mdn定义为varchar2(20),但在查询时把该字段作为number类型以where条件传给Oracle,这样会导致索引失效. 错误的例子:select * from test where tu_mdn=13333333333正确的例子:select * from test where tu_mdn='13333333333'
12) 1,<>2,单独的>,<,(有时会用到,有时不会)
13,like "%_" 百分号在前.
4,表没分析.
15,单独引用复合索引里非第一位置的索引列.
16,字符型字段为数字时在where条件里不添加引号.
17,对索引列进行运算.需要建立函数索引.
18,not in ,not exist.
19,当变量采用的是times变量,而表的字段采用的是date变量时.或相反情况。
20,B-tree索引 is null不会走,is not null会走,位图索引 is null,is not null 都会走
21,联合索引 is not null 只要在建立的索引列(不分先后)都会走, in null时 必须要和建立索引第一列一起使用,当建立索引第一位置条件是is null 时,其他建立索引的列可以是is null(但必须在所有列 都满足is null的时候),或者=一个值; 当建立索引的第一位置是=一个值时,其他索引列可以是任何情况(包括is null =一个值),以上两种情况索引都会走。其他情况不会走。
mysql无法在建表时把两个字段加一起指定为唯一索引。mysql设置联合唯一索引方法如下:使用Altertable表名addUNIQUEindex索引名(字段1,字段2)语句来设置,它会删除重复的记录,保留一条,然后建立联合唯一索引。欢迎分享,转载请注明来源:内存溢出
评论列表(0条)