MySQL - Buffer Pool LRU机制

LRU机制在实际运行过程中，是会存在巨大的隐患的：

MySQL的预读机制带来的隐患：所谓的预读机制，就是当你从磁盘加载一个数据页的时候，可能会连带着把这个数据页相邻的其它数据页也加载到缓存里去。

例如，现在有两个空闲的缓存页，然后在加载一个数据页的时候，连带着把他的一个相邻的数据页也加载到缓存里了，正好每个数据页放入一个空闲的缓存页。但是实际上只有一个缓存页被访问了，另外一个通过预读机制被加载进来的缓存页，其实并没有人访问，但是此时这两个缓存页都是放在LRU链表的前面。这个时候没有空闲的缓存页，如果要加载新的数据，就要把LRU链表队尾的缓存页刷入磁盘，而不是无人访问的那个缓存页。

会触发预读机制的场景：

为了解决简单的LRU链表的问题，MySQL在设计LRU链表的时候，实际上采取的是冷热数据分离的思想；之前的问题都是因为所有缓存页都混在了一个LRU链表中导致的。

真正的LRU链表，会被拆分成热数据和冷数据两个部分，冷热数据的比例是由innodb_old_blocks_pct参数控制的，默认是37，也就是说冷数据占比为37%。这个时候，LRU链表实际上看起来是下面这个样子的：

数据页第一次被加载到缓存的时候，其实是被放在冷数据链表的头部，后面1秒之后，如果你再次访问这个缓存页，那这个缓存页会被移动到热数据链表的头部，这个时间是有innodb_old_blocks_time这个参数控制的，默认1000ms。

也就是说，必须是一个数据页被加载到缓存页之后，在1s之后，你访问这个缓存页，他才会被挪动到热数据区域的链表头部去。

因为假设你加载了一个数据页到缓存去，然后过了1s之后你还访问了这个缓存页，说明你后续很可能会经常访问它，这个时间限制就是1s，因此只有1s后你访问了这个缓存页，他才会给你把缓存页放到热数据区域链表的头部去。

预读机制以及全表扫描加载进来的一大堆缓存页，他们会放在哪里？肯定是放在LRU链表的冷数据区域的前面，假设这个时候热数据区域已经有很多被频繁访问的缓存页了，你会发现热数据区域还是存放被频繁访问的缓存页的，只要热数据区域有缓存页被访问，他还是会被移动到热数据区域的链表头部去。

所以此时预读机制和全表扫描加载进来的一大堆缓存页，此时都在冷数据区域里，跟热数据区域里的频繁访问的缓存页，没有关系。

如果仅仅是全表扫描的查询，此时你肯定是在1s内就把一大堆缓存页加载进来，然后访问了这些缓存页一下，通常这些 *** 作1s内就结束了，所以基于目前的一个机制，可以确定的是，那些缓存页是不会从冷数据区域转移到热数据区域的。

除非在冷数据区域的缓存页，在1s之后还被访问了，那么此时他们就会判定为未来可能会被频繁访问的缓存页，然后移动到热数据区域的链表头部去。

假设此时缓存页不够用了，需要淘汰一些缓存页，此时会怎样？

直接就是可以找到LRU链表中的冷数据区域的尾部的缓存页，他们肯定是之前被加载进来的，而且加载进来1s过后都没人访问过，说明这个缓存页压根儿就没人愿意去访问他，他就是冷数据。所以此时就直接淘汰冷数据区域的尾部的缓存页，刷入磁盘就可以了。

之前提到如果一个缓存页被访问了，就会把他移动到LRU链表的热数据区域首位，这么频繁的移动会导致性能不是很好。所以MySQL对LRU链表热数据区域的访问规则做了优化，只有在热数据区域的后3/4部分的缓存页被访问了，才会被移动到链表头部；链表前面1/4的缓冲页被访问，是不会被移动的。

首先，并不是在缓存页满的时候，才会挑选LRU冷数据区域尾部的几个缓存页刷入磁盘，而是有一个后台线程，每隔一段时间就会把LRU链表的冷数据区域尾部的一些缓存页刷入磁盘，然后清空这几个缓存页，并把他们加入到free链表中。

所以大家会发现，只要有这个后台线程定时运行，可能你的缓存页都还没有用完呢，就给你把一批冷数据的缓存页刷入磁盘，清空出来一批缓存页，那么你就多了一批可以使用的空闲缓存页了。

如果仅仅只是把LRU链表中的冷数据区域的缓存页刷入磁盘，明显是不够的；

LRU链表中的热数据区域里的很多缓存页可能会被频繁的修改，这些数据不可能永远放在内存中，后台线程会在MySQL不繁忙的时候，把flush链表中的缓存页都刷入磁盘中，这样，被修改过的数据就被刷入到磁盘文件中了。

只要flush链表中的一些缓存页被刷入磁盘，那这些缓存页也会从flush链表和lru链表中移除，然后加入到free链表中。

所以，一边不停的加载数据到缓存页中，不停的查询和修改缓存数据，然后free链表中的缓存页不停的在减少，flush链表中的缓存页不停的在增加，lru链表中的缓存页不停的在增加和移动。

另外一边，后台线程不停的把LRU链表的冷数据区域的缓存页及flush链表的缓存页刷入到磁盘，来清空缓存页，然后flush链表和LRU链表中的缓存页不停的在减少，free链表中的缓存页在不停的增加。

如果实在没有空闲的缓存页，那就会把LRU链表冷数据区域尾部的缓存页刷入磁盘，然后清空。

数据千万级别之多，占用的存储空间也比较大，可想而知它不会存储在一块连续的物理空间上，而是链式存储在多个碎片的物理空间上。可能对于长字符串的比较，就用更多的时间查找与比较，这就导致用更多的时间。

可以做表拆分，减少单表字段数量，优化表结构。

在保证主键有效的情况下，检查主键索引的字段顺序，使得查询语句中条件的字段顺序和主键索引的字段顺序保持一致。

主要两种拆分 垂直拆分，水平拆分。

垂直分表

也就是“大表拆小表”，基于列字段进行的。一般是表中的字段较多，将不常用的， 数据较大，长度较长（比如text类型字段）的拆分到“扩展表“。 一般是针对 那种 几百列的大表，也避免查询时，数据量太大造成的“跨页”问题。

垂直分库针对的是一个系统中的不同业务进行拆分，比如用户User一个库，商品Product一个库，订单Order一个库。 切分后，要放在多个服务器上，而不是一个服务器上。为什么？ 我们想象一下，一个购物网站对外提供服务，会有用户，商品，订单等的CRUD。没拆分之前， 全部都是落到单一的库上的，这会让数据库的单库处理能力成为瓶颈。按垂直分库后，如果还是放在一个数据库服务器上， 随着用户量增大，这会让单个数据库的处理能力成为瓶颈，还有单个服务器的磁盘空间，内存，tps等非常吃紧。 所以我们要拆分到多个服务器上，这样上面的问题都解决了，以后也不会面对单机资源问题。

数据库业务层面的拆分，和服务的“治理”，“降级”机制类似，也能对不同业务的数据分别的进行管理，维护，监控，扩展等。 数据库往往最容易成为应用系统的瓶颈，而数据库本身属于“有状态”的，相对于Web和应用服务器来讲，是比较难实现“横向扩展”的。 数据库的连接资源比较宝贵且单机处理能力也有限，在高并发场景下，垂直分库一定程度上能够突破IO、连接数及单机硬件资源的瓶颈。

水平分表

针对数据量巨大的单张表（比如订单表），按照某种规则（RANGE,HASH取模等），切分到多张表里面去。 但是这些表还是在同一个库中，所以库级别的数据库 *** 作还是有IO瓶颈。不建议采用。

水平分库分表

将单张表的数据切分到多个服务器上去，每个服务器具有相应的库与表，只是表中数据集合不同。 水平分库分表能够有效的缓解单机和单库的性能瓶颈和压力，突破IO、连接数、硬件资源等的瓶颈。

水平分库分表切分规则

1. RANGE

从0到10000一个表，10001到20000一个表；

2. HASH取模

一个商场系统，一般都是将用户，订单作为主表，然后将和它们相关的作为附表，这样不会造成跨库事务之类的问题。 取用户id，然后hash取模，分配到不同的数据库上。

3. 地理区域

比如按照华东，华南，华北这样来区分业务，七牛云应该就是如此。

4. 时间

按照时间切分，就是将6个月前，甚至一年前的数据切出去放到另外的一张表，因为随着时间流逝，这些表的数据 被查询的概率变小，所以没必要和“热数据”放在一起，这个也是“冷热数据分离”。

分库分表后面临的问题

事务支持

分库分表后，就成了分布式事务了。如果依赖数据库本身的分布式事务管理功能去执行事务，将付出高昂的性能代价； 如果由应用程序去协助控制，形成程序逻辑上的事务，又会造成编程方面的负担。

跨库join

只要是进行切分，跨节点Join的问题是不可避免的。但是良好的设计和切分却可以减少此类情况的发生。解决这一问题的普遍做法是分两次查询实现。在第一次查询的结果集中找出关联数据的id,根据这些id发起第二次请求得到关联数据。

跨节点的count,order by,group by以及聚合函数问题

这些是一类问题，因为它们都需要基于全部数据集合进行计算。多数的代理都不会自动处理合并工作。解决方案：与解决跨节点join问题的类似，分别在各个节点上得到结果后在应用程序端进行合并。和join不同的是每个结点的查询可以并行执行，因此很多时候它的速度要比单一大表快很多。但如果结果集很大，对应用程序内存的消耗是一个问题。

数据迁移，容量规划，扩容等问题

来自淘宝综合业务平台团队，它利用对2的倍数取余具有向前兼容的特性（如对4取余得1的数对2取余也是1）来分配数据，避免了行级别的数据迁移，但是依然需要进行表级别的迁移，同时对扩容规模和分表数量都有限制。总得来说，这些方案都不是十分的理想，多多少少都存在一些缺点，这也从一个侧面反映出了Sharding扩容的难度。

ID问题

一旦数据库被切分到多个物理结点上，我们将不能再依赖数据库自身的主键生成机制。一方面，某个分区数据库自生成的ID无法保证在全局上是唯一的；另一方面，应用程序在插入数据之前需要先获得ID,以便进行SQL路由.

一些常见的主键生成策略

UUID

使用UUID作主键是最简单的方案，但是缺点也是非常明显的。由于UUID非常的长，除占用大量存储空间外，最主要的问题是在索引上，在建立索引和基于索引进行查询时都存在性能问题。

Twitter的分布式自增ID算法Snowflake

在分布式系统中，需要生成全局UID的场合还是比较多的，twitter的snowflake解决了这种需求，实现也还是很简单的，除去配置信息，核心代码就是毫秒级时间41位 机器ID 10位 毫秒内序列12位。

跨分片的排序分页

一般来讲，分页时需要按照指定字段进行排序。当排序字段就是分片字段的时候，我们通过分片规则可以比较容易定位到指定的分片，而当排序字段非分片字段的时候，情况就会变得比较复杂了。为了最终结果的准确性，我们需要在不同的分片节点中将数据进行排序并返回，并将不同分片返回的结果集进行汇总和再次排序，最后再返回给用户。

---