mysql 解决可提交读、可重复读、幻读

mysql 解决可提交读、可重复读、幻读,第1张

这张图本人觉得总结得挺好的,在一般的互联网项目中,基本上用的都是Innodb引擎,一般只涉及到的都是行级锁,但是如果sql语句中不带索引进行 *** 作,可能会导致锁表,这是不推荐的,性能非常低,可能会导致全表扫描等,行锁的具体实现算法有以下几种mysql特有的锁:

Record Lock(记录锁):单个行记录的锁,一般是唯一索引或者主键上的加锁

Gap Lock(间隙锁):锁定一个区间,但是不包括自身,开区间的锁,RR级别才会有间隙锁,间隙锁的唯一目的是防止区间数据的插入,所以间隙锁与间隙锁之间是不会相互阻塞的

Next-key Lock(临键锁):与间隙锁的区别是包括自身,是左开右闭区间,RR级别才会有

加锁规则里面,包含了两个“原则”、两个“优化”和一个“bug”。

原则 1:加锁的基本单位是 next-key lock,希望你还记得,next-key lock 是前开后闭区间。

原则 2:查找过程中访问到的对象才会加锁。

优化 1:索引上的等值查询,给唯一索引加锁的时候,next-key lock 退化为行锁。

优化 2:索引上的等值查询,向右遍历时且最后一个值不满足等值条件的时候,next-key lock 退化为间隙锁。

一个 bug:唯一索引上的范围查询会访问到不满足条件的第一个值为止。

举例来说明上述的原则:

建表

插入数据:

INSERT INTO t ( id , c , d ) VALUES (0, 0, 0)

INSERT INTO t ( id , c , d ) VALUES (5, 5, 10)

INSERT INTO t ( id , c , d ) VALUES (10, 10, 10)

INSERT INTO t ( id , c , d ) VALUES (15, 15, 15)

INSERT INTO t ( id , c , d ) VALUES (20, 20, 20)

INSERT INTO t ( id , c , d ) VALUES (25, 25, 25)

例子1:锁表

因为d字段上没有建索引,所以涉及该字段的查询加锁会锁住整个表

因为d字段上面没有建立索引,所以事务1执行后会导致整个表被锁,后面所有的 *** 作都会在等待整个表锁被释放

例子2:主键/唯一索引 记录锁

id字段为主键,而且事务1查询命中了唯一的记录,默认是加Next-key Lock,区间是(0,5],但是根据优化1,唯一索引/主键上的等值查询,会退化为行锁,所以只会锁5这个记录。

例子3:主键/唯一索引上的间隙锁

由于表 t 中没有 id=7 的记录,所以用我们上面提到的加锁规则判断一下的话:根据原则 1,加锁单位是 next-key lock,事务1加锁范围就是 (5,10];同时根据优化 2,这是一个等值查询 (id=7),而 id=10 不满足查询条件,next-key lock 退化成间隙锁,因此最终加锁的范围是 (5,10),所以事务2会阻塞,事务3执行成功。

例子4:普通索引上的间隙锁

c字段是普通索引,事务1执行时默认是对区间(0,5]加间隙锁,根据优化2,非唯一索引/主键会继续向右遍历,找到10,所以最终的加锁为(0,5]的Next-Key锁+(5,10)的间隙锁,所以事务2阻塞,事务3成功。

例子5:间隙锁与行锁

事务1默认的Next-Key锁区间是(0,5],根据优化2会向右遍历,找到不满足查询条件的10,退化成间隙锁,所以事务1的锁是(0,5]的Next-Key锁+(5,10)的间隙锁,这两个锁与行锁是冲突的,而事务2申请的Next-Key锁是和事务1一样,但是c=5的行锁与事务1冲突,所以产生了阻塞,如果改为update t set d=1000 where c=6因为此时产生的间隙锁为(5,10),而间隙锁与间隙锁是不冲突的,不会产生阻塞

例子6:lock in share mode锁覆盖索引

事务1存在覆盖索引的情况,不会去回表,lock in share mode这种情况下只会锁c字段索引,而事务2是对主键加行锁,所以两者不存在冲突。

例子7:主键/唯一索引上的范围查询

开始执行的时候,要找到第一个 id=10 的行,因此本该是 Next-Key Lock(5,10],根据优化 1, 主键 id 上的等值条件,退化成行锁,只加了 id=10 这一行的行锁。范围查找就往后继续找,找到 id=15 这一行停下来,因此需要加 Next-Key Lock(10,15],所以事务3是冲突的。

例子8:普通索引上的范围查询

开始执行时,找到第一个满足条件的行10,加锁Next-Key Lock(5,10],因为不是唯一索引,所以不会退化,继续向后面找,找到15这一行停下来,因此需要加 Next-Key Lock(10,15],因为是范围查询,所以锁不会退化。

快照读: 通过MVCC实现,该技术不仅可以保证innodb的可重复读,而且可以防止幻读,但是他读取的数据虽然是一致的,但是数据是历史数据。

简单的select *** 作(不包括 select … lock in share mode, select … for update)

当前读: 要做到保证数据是一致的,同时读取的数据是最新的数据,innodb提供了next-key lock,即gap锁与行锁结合来实现。

select … lock in share mode

select … for update

insert

update

delete

自己理解:

简单的select是快照读,快照读实现可提交读,可重复读和幻读是通过MVCC+ReadView实现的,而当前读实现这几种是通过锁来实现的,为了说明具体原理,下面介绍下MVCC和ReadView概念,所以简单的select是通过乐观锁实现的,当前读是通过悲观锁实现的。

参考文章:

https://www.sohu.com/a/302045871_411876

https://www.jianshu.com/p/d1aba64b5c03

https://www.jianshu.com/p/32904ee07e56

术式之后皆为逻辑,一切皆为需求和实现。希望此文能从需求、现状和解决方式的角度帮大家理解隔离级别。

隔离级别的产生

在串型执行的条件下,数据修改的顺序是固定的、可预期的结果,但是并发执行的情况下,数据的修改是不可预期的,也不固定,为了实现数据修改在并发执行的情况下得到一个固定、可预期的结果,由此产生了隔离级别。

所以隔离级别的作用是用来平衡数据库并发访问与数据一致性的方法。

事务的4种隔离级别

READ UNCOMMITTED       未提交读,可以读取未提交的数据。READ COMMITTED         已提交读,对于锁定读(select with for update 或者 for share)、update 和 delete 语句,                       InnoDB 仅锁定索引记录,而不锁定它们之间的间隙,因此允许在锁定的记录旁边自由插入新记录。                       Gap locking 仅用于外键约束检查和重复键检查。REPEATABLE READ        可重复读,事务中的一致性读取读取的是事务第一次读取所建立的快照。SERIALIZABLE           序列化

在了解了 4 种隔离级别的需求后,在采用锁控制隔离级别的基础上,我们需要了解加锁的对象(数据本身&间隙),以及了解整个数据范围的全集组成。

数据范围全集组成

SQL 语句根据条件判断不需要扫描的数据范围(不加锁);

SQL 语句根据条件扫描到的可能需要加锁的数据范围;

以单个数据范围为例,数据范围全集包含:(数据范围不一定是连续的值,也可能是间隔的值组成)

1. 数据已经填充了整个数据范围:(被完全填充的数据范围,不存在数据间隙)

整形,对值具有唯一约束条件的数据范围 1~5 ,

已有数据1、2、3、4、5,此时数据范围已被完全填充;

整形,对值具有唯一约束条件的数据范围 1 和 5 ,

已有数据1、5,此时数据范围已被完全填充;

2. 数据填充了部分数据范围:(未被完全填充的数据范围,是存在数据间隙)

整形的数据范围 1~5 ,

已有数据 1、2、3、4、5,但是因为没有唯一约束,

所以数据范围可以继续被 1~5 的数据重复填充;

整形,具有唯一约束条件的数据范围 1~5 ,

已有数据 2,5,此时数据范围未被完全填充,还可以填充 1、3、4 ;

3. 数据范围内没有任何数据(存在间隙)

如下:

整形的数据范围 1~5 ,数据范围内当前没有任何数据。

在了解了数据全集的组成后,我们再来看看事务并发时,会带来的问题。

无控制的并发所带来的问题

并发事务如果不加以控制的话会带来一些问题,主要包括以下几种情况。

1. 范围内已有数据更改导致的:

更新丢失:当多个事务选择了同一行,然后基于最初选定的值更新该行时,

由于每个事物不知道其他事务的存在,最后的更新就会覆盖其他事务所做的更新;

脏读: 一个事务正在对一条记录做修改,这个事务完成并提交前,这条记录就处于不一致状态。

这时,另外一个事务也来读取同一条记录,如果不加控制,

第二个事务读取了这些“脏”数据,并据此做了进一步的处理,就会产生提交的数据依赖关系。

这种现象就叫“脏读”。

2. 范围内数据量发生了变化导致:

不可重复读:一个事务在读取某些数据后的某个时间,再次读取以前读过的数据,

却发现其读出的数据已经发生了改变,或者某些记录已经被删除了。

这种现象就叫“不可重复读”。

幻读:一个事务按相同的查询条件重新读取以前检索过的数据,

却发现其他事务插入了满足其查询条件的新数据,这种现象称为“幻读”。

可以简单的认为满足条件的数据量变化了。

因为无控制的并发会带来一系列的问题,这些问题会导致无法满足我们所需要的结果。因此我们需要控制并发,以实现我们所期望的结果(隔离级别)。

MySQL 隔离级别的实现

InnoDB 通过加锁的策略来支持这些隔离级别。

行锁包含:

Record Locks

索引记录锁,索引记录锁始终锁定索引记录,即使表中未定义索引,

这种情况下,InnoDB 创建一个隐藏的聚簇索引,并使用该索引进行记录锁定。

Gap Locks

间隙锁是索引记录之间的间隙上的锁,或者对第一条记录之前或者最后一条记录之后的锁。

间隙锁是性能和并发之间权衡的一部分。

对于无间隙的数据范围不需要间隙锁,因为没有间隙。

Next-Key Locks

索引记录上的记录锁和索引记录之前的 gap lock 的组合。

假设索引包含 10、11、13 和 20。

可能的next-key locks包括以下间隔,其中圆括号表示不包含间隔端点,方括号表示包含端点:

(负无穷大, 10]    (10, 11]    (11, 13]    (13, 20]    (20, 正无穷大)        对于最后一个间隔,next-key将会锁定索引中最大值的上方,

左右滑动进行查看

"上确界"伪记录的值高于索引中任何实际值。

上确界不是一个真正的索引记录,因此,实际上,这个 next-key 只锁定最大索引值之后的间隙。

基于此,当获取的数据范围中,数据已填充了所有的数据范围,那么此时是不存在间隙的,也就不需要 gap lock。

对于数据范围内存在间隙的,需要根据隔离级别确认是否对间隙加锁。

默认的 REPEATABLE READ 隔离级别,为了保证可重复读,除了对数据本身加锁以外,还需要对数据间隙加锁。

READ COMMITTED 已提交读,不匹配行的记录锁在 MySQL 评估了 where 条件后释放。

对于 update 语句,InnoDB 执行 "semi-consistent" 读取,这样它会将最新提交的版本返回到 MySQL,

以便 MySQL 可以确定该行是否与 update 的 where 条件相匹配。

总结&延展:

唯一索引存在唯一约束,所以变更后的数据若违反了唯一约束的原则,则会失败。

当 where 条件使用二级索引筛选数据时,会对二级索引命中的条目和对应的聚簇索引都加锁;所以其他事务变更命中加锁的聚簇索引时,都会等待锁。

行锁的增加是一行一行增加的,所以可能导致并发情况下死锁的发生。

例如,

在 session A 对符合条件的某聚簇索引加锁时,可能 session B 已持有该聚簇索引的 Record Locks,而 session B 正在等待 session A 已持有的某聚簇索引的 Record Locks。

session A 和 session B 是通过两个不相干的二级索引定位到的聚簇索引。

session A 通过索引 idA,session B通过索引 idB 。

当 where 条件获取的数据无间隙时,无论隔离级别为 rc 或 rr,都不会存在间隙锁。

比如通过唯一索引获取到了已完全填充的数据范围,此时不需要间隙锁。

间隙锁的目的在于阻止数据插入间隙,所以无论是通过 insert 或 update 变更导致的间隙内数据的存在,都会被阻止。

rc 隔离级别模式下,查询和索引扫描将禁用 gap locking,此时 gap locking 仅用于外键约束检查和重复键检查(主要是唯一性检查)。

rr 模式下,为了防止幻读,会加上 Gap Locks。

事务中,SQL 开始则加锁,事务结束才释放锁。

就锁类型而言,应该有优化锁,锁升级等,例如rr模式未使用索引查询的情况下,是否可以直接升级为表锁。

就锁的应用场景而言,在回放场景中,如果确定事务可并发,则可以考虑不加锁,加快回放速度。

锁只是并发控制的一种粒度,只是一个很小的部分:

从不同场景下是否需要控制并发,(已知无交集且有序的数据的变更,MySQL 的 MTS 相同前置事务的多事务并发回放)

并发控制的粒度,(锁是一种逻辑粒度,可能还存在物理层和其他逻辑粒度或方式)

相同粒度下的优化,(锁本身存在优化,如IX、IS类型的优化锁)

粒度加载的安全&性能(如获取行锁前,先获取页锁,页锁在执行获取行锁 *** 作后即释放,无论是否获取成功)等多个层次去思考并发这玩意。

快照读 即: snapshot read ,官方叫法是: Consistent Nonlocking Reads ,即: 一致性非锁定读 ,官方的解释是:

即:

即 快照读 的问题在于:在同一个事务中,能够读取到之前提交的数据。表现为:

字面意思:在事务中,为查询创建的快照,并不适用与 DML 语句。

也就是说:如果事务 A 开始时创建的快照,查询不到数据 col1=1 ,但此时事务 B 刚刚提交 insert col1=1 和 insert col1=1 ,此时如果事务 A 执行, delete col1=1 ,是能将事务 B 生成的数据删除的。

字面意思:即使事务 A 的快照是在事务 B 提交之前创建的,但事务 A 也只有在事务 A 和事务 B 都提交后,才能看到事务 B 新增的数据。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/8507454.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-17
下一篇 2023-04-17

发表评论

登录后才能评论

评论列表(0条)

保存