数据库存储空间中碎片产生的原因　及如何回收碎片

以MySQL为例，碎片的存在十分影响性能

MySQL 的碎片是 MySQL 运维过程中比较常见的问题，碎片的存在十分影响数据库的性能，本文将对 MySQL 碎片进行一次讲解。

判断方法：

MySQL 的碎片是否产生，通过查看

show table status from table_nameG

这个命令中 Data_free 字段，如果该字段不为 0，则产生了数据碎片。

产生的原因：

1. 经常进行 delete *** 作

经常进行 delete *** 作，产生空白空间，如果进行新的插入 *** 作，MySQL将尝试利用这些留空的区域，但仍然无法将其彻底占用，久而久之就产生了碎片；

演示：

创建一张表，往里面插入数据，进行一个带有 where 条件或者 limit 的 delete *** 作，删除前后对比一下 Data_free 的变化。

删除前：

删除后：

Data_free 不为 0，说明有碎片；

2. update 更新

update 更新可变长度的字段(例如 varchar 类型)，将长的字符串更新成短的。之前存储的内容长，后来存储是短的，即使后来插入新数据，那么有一些空白区域还是没能有效利用的。

演示：

创建一张表，往里面插入一条数据，进行一个 update *** 作，前后对比一下 Data_free 的变化。

CREATE TABLE `t1` ( `k` varchar(3000) DEFAULT NULL ) ENGINE=MyISAM DEFAULT CHARSET=utf8

更新语句：update t1 set k='aaa'

更新前长度：223 Data_free：0

更新后长度：3 Data_free：204

Data_free 不为 0，说明有碎片；

产生影响：

1. 由于碎片空间是不连续的，导致这些空间不能充分被利用；

2. 由于碎片的存在，导致数据库的磁盘 I/O *** 作变成离散随机读写，加重了磁盘 I/O 的负担。

清理办法：

MyISAM：optimize table 表名；（OPTIMIZE 可以整理数据文件,并重排索引）

Innodb：

1. ALTER TABLE tablename ENGINE=InnoDB；(重建表存储引擎，重新组织数据)

2. 进行一次数据的导入导出

碎片清理的性能对比：

引用我之前一个生产库的数据，对比一下清理前后的差异。

SQL执行速度：

select count(*) from test.twitter_11

修改前：1 row in set (7.37 sec)

修改后：1 row in set (1.28 sec)

结论：

通过对比，可以看到碎片清理前后，节省了很多空间，SQL执行效率更快。所以，在日常运维工作中，应对碎片进行定期清理，保证数据库有稳定的性能。

更快速的配置对比 pt-config-diff在我们日常工作中，大家一定遇到过以下场景：

若干套 MySQL 环境，只有一套：

∘ 行为异常，怀疑触发 bug

∘ 性能异常，比其他环境都要低

在这种场景下，我们一般的做法是首先控制变量，查看软硬件配置，以及 MySQL 的参数配置。关于 MySQL 的参数配置对比，如果我们人工对比的话只会关注某些重点参数，而缺少了整体细节上的的对比。在这里我们推荐给大家 Percona Toolkit 中的一个工具 pt-config-diff

更准确的复制延时 pt-heartbeat在 MySQL 中，复制延迟可以理解为由两部分组成：1. 主库已经生成了 BINLOG，但是还没有发送给从库 -- 我们在这里称之为：日志延迟2. 从库已经接收到了 BINLOG，但是还没有应用完成 -- 我们在这里称之为：应用延迟MySQL 原生的查看复制延迟的手段为：show slave status\G中的Seconds_Behind_Master。这种观测手法只能观测出应用延迟。在异步复制或降级的半同步复制下，误差较大，无法准确的反映出整体复制延时。

1. 在 Master 上循环插入：insert into database.heartbeat (master_now) values(NOW())

2. database.heartbeat 的变更会跟随主从复制流向从库

3. 系统当前时间 - 从库表中的时间 = 从库实际的复制延时

更简单的参数配置建议 pt-variable-advisortoolkit 中包含了一个简单的 MySQL 参数优化器，可以对参数配置做简单的优化建议。

更准确的复制延时 pt-heartbeat在 MySQL 中，复制延迟可以理解为由两部分组成：1. 主库已经生成了 BINLOG，但是还没有发送给从库 -- 我们在这里称之为：日志延迟2. 从库已经接收到了 BINLOG，但是还没有应用完成 -- 我们在这里称之为：应用延迟MySQL 原生的查看复制延迟的手段为：show slave status\G中的Seconds_Behind_Master。这种观测手法只能观测出应用延迟。在异步复制或降级的半同步复制下，误差较大，无法准确的反映出整体复制延时。

更易用的调试工具 pt-pmp在某些情况下，我们肯定会遇到某些故障无法从日志，以及状态命令中找到原因，需要深入到程序逻辑级别。又或者我们需要立即通过非常规手段恢复故障数据库，但是又想保留足够多的故障信息。来避免我们事后复现问题的头疼。pt-pmp 便是在这种场景下帮助我们的工具。它会使用 gdb 来打印 mysqld 的堆栈信息，并把调用链相同的线程堆栈合并。堆栈合并的功能对于 MySQL 这种多线程的应用非常有帮助，会节省我们大量的时间。

服务器内存占用过高的解决方法：

1，首先通过任务管理器进行进程排序，查找占用内存较大的程序进程。一般占用内存较大的进程有W3WP、sqlserver、mysqld-nt.exe；

2， 站点进程w3wp 可以在cmd命令行中通过 iisapp 命令来对应是那个网站占用内存较大。可以通过设置回收时间、内存最大使用值或共用进程池来减少内存的占用，但是如果要保证网站的访问质量，还是建议升级至更高型号来解决；

3，数据库 sql server 也可以通过数据库的企业管理器来设置最大内存占用，但是如果网站程序必须要占用较大内存的话，设置后会发生页面报错、打不开等问题；

4，MYSQL本身会占用较大虚拟内存，如果不使用mysql数据库的话，可以将其停止。

---