mysql 参数调优（11）之innodb_buffer_pool_instances设置多个缓冲池实例

MySQL 5.5引入了缓冲实例作为减小内部锁争用来提高MySQL吞吐量的手段。在5.5版本这个对提升吞吐量帮助很小，然后在MySQL 5.6版本这个提升就非常大了，所以在MySQL5.5中你可能会保守地设置innodb_buffer_pool_instances=4，在MySQL 5.6和5.7中你可以设置为8-16个缓冲池实例。设置后观察会觉得性能提高不大，但在大多数高负载情况下，它应该会有不错的表现。对了，不要指望这个设置能减少你单个查询的响应时间。这个是在高并发负载的服务器上才看得出区别。比如多个线程同时做许多事情。

5.7、8.0 下INNODB_BUFFER_POOL_INSTANCES默认为1，若mysql存在高并发和高负载访问，设置为1则会造成大量线程对BUFFER_POOL的单实例互斥锁竞争，这样会消耗一定量的性能的。

pool_instances 可以设置为cpu核心数，它的作用是：

1）对于缓冲池在数千兆字节范围内的系统，通过减少争用不同线程对缓存页面进行读写的争用，将缓冲池划分为多个单独的实例可以提高并发性。可以类比为 java中的 ThreadLocal 线程本地变量 就是为每个线程维护一个buffer pool实例，这样就不用去争用同一个实例了。相当于减少高并发下mysql对INNODB_BUFFER缓冲池的争用。

2）使用散列函数将存储在缓冲池中或从缓冲池读取的每个页面随机分配给其中一个缓冲池实例。每个缓冲池管理自己的空闲列表， 刷新列表， LRU和连接到缓冲池的所有其他数据结构，并受其自己的缓冲池互斥量保护。

mysql的50版本和51版本的区别：一、5.0 增加了Stored procedures、Views、Cursors、Triggers、XA transactions的支持，增加了INFORATION_SCHEMA系统数据库。 二、5.1 增加了Event scheduler，Partitioning，Pluggable storage engine API ，Row-based replication、Global级别动态修改general query log和slow query log的支持。 MySQL 4.1/5.0/5.1/5.5/5.6各版本的主要区别 1、4.1 增加了子查询的支持，字符集增加UTF-8，GROUP BY语句增加了ROLLUP，mysql.user表采用了更好的加密算法。 2、5.0 增加了Stored procedures、Views、Cursors、Triggers、XA transactions的支持，增加了INFORATION_SCHEMA系统数据库。 3、5.1 增加了Event scheduler，Partitioning，Pluggable storage engine API ，Row-based replication、Global级别动态修改general query log和slow query log的支持。 4、5.5的新特征 1)默认存储引擎更改为InnoDB 2)提高性能和可扩展性 a. 提高了默认线程并发数(innodb_thread_concurrency) b. 后台输入/输出线程控制（innodb_read_io_threads、innodb_write_io_threads） c. 主线程输入/输出速率控制（innodb_io_capacity） d. *** 作系统内存分配程序使用控制(innodb_use_sys_malloc) e. 适应性散列索引(Hash Index)控制，用户可以关闭适应性散列功能。 f. 插入缓冲（Insert Buffering）控制，用户可以关闭innodb的插入缓冲功能。 g. 通过快速加锁算法提高可扩展性，innodb不在使用代理(posix)线程,而是使用原生的独立 *** 作来完成互斥和读写锁定。 h. 恢复组提交（Restored Group Commit） i. 提高恢复性能 j. 多缓冲池实例 k. 多个回滚段（Multiple Rollback Segments）,之前的innodb版本最大能处理1023个并发处理 *** 作，现在mysql5.5可以处理高达128K的并发事物， l. Linux系统固有的异步输入/输出，mysql5.5数据库系统也提高了linux系统的输入输出请求的并发数。 m. 扩展变化缓冲：添加了删除缓冲和清除缓冲 n. 改善了日志系统互斥和单独刷新（Flush）列表互斥 o. 改善清除程序进度，在mysql5.5中清楚 *** 作线程是独立的线程，并支持并发，可以使用innodb_purge_treads配置。 p. 改善事务处理中的元数据锁定。例如，事物中一个语句需要锁一个表，会在事物结束时释放这个表，而不是像以前在语句结束时释放表。 3)提高实用性 a. 半同步复制（Semi-synchronous Replication） b. 复制Heartbeat c. 中继日志自动恢复（Automatic Relay Log Recovery） d. 根据服务器过滤项复制（Replication Per Server Filtering） e. 从服务器复制支持的数据类型转换（Replication Slave Side Data Type Conversions） 4)提高易管理性和效率 a. 建立快速索引（Faster Index Creation） b. 高效的数据压缩（Efficient Data Compression） c. 为大物件和可变长度列提供高效存储 d. 增加了INFORMATION_SCHEMA表，新的表提供了与InnoDB压缩和事务处理锁定有关的具体信息。 5)提高可用性 a. 针对SIGNAL/RESIGNAL的新SQL语法 b. 新的表/索引分区选项。MySQL5.5将表和索引RANG和LIST分区范围扩展到了非整数列和日期，并增加了在多个列上分区的能力。 6)改善检测和诊断 Mysql5.5引入了一种新的性能架构(performancn_shema,P_S),用于监控mysql监控服务器运行时的性能。5、5.6的新特征 1)InnoDB现在可以限制大量表打开的时候内存占用过多的问题（比如这里提到的）(第三方已有补丁) 2)InnoDB性能加强。如分拆kernel mutexflush *** 作从主线程分离多个perge线程大内存优化等3)InnoDB死锁信息可以记录到 error 日志，方便分析4)MySQL5.6支持延时复制，可以让slave跟master之间控制一个时间间隔，方便特殊情况下的数据恢复。5)表分区功能增强6)MySQL行级复制功能加强，可以降低磁盘、内存、网络等资源开销（只记录能确定行记录的字段即可）7)Binlog实现 crash-safe8)复制事件采用crc32校验，增强master/slave 复制数据一致性9)新增 log_bin_basename （以前variables里面没有binlog位置信息，对数据库的监管很不方便）

mysql5.7是5.6的新版本，在没有减少功能的情况下新增了功能与进行了优化，例如新增了新的优化器、原生JSON支持、多源复制，还优化了整体的性能、GIS空间扩展、InnoDB。

1、原生json支持

MySQL 5.7可以定义原生json类型数据，对json数据进行有效性检查，查询不需要遍历所有字符串才能找到数据，通过虚拟列的功能可以对JSON中的部分数据进行索引。

2、多源复制

MySQL 5.7开始支持多源复制，也就是多主一从的复制架构。各个库汇总在一起，就算是其他库都挂了（整个机房都无法连接了），还有最后一个救命稻草。不需要每个库都做一个实例，也减少了DBA的维护成本。

3、InnoDB优化

MySQL 5.7针对innodb_buffer_pool_size、innodb_log_file_size、innodb_flush_method提供了更加合适的默认值。

参考资料来源：MYSQL-MySQL 5.7的新增功能

---