如何查看mysql binlog

mysqlbinlog 是将 binlog 解析成可读可执行的 SQL 的重要工具。

但解析体积较大的 binlog 时，如何查看 mysqlbinlog 的执行进度就变成了一个问题，mysqlbinlog 并未提供 –progress 这样的参数。

那要怎么查看 mysqlbinlog 的解析进度？

实验

我们在 实验 08 中介绍了如何生成随机数据。可以利用其中技巧，生成较大的 binlog，我们忽略这个过程。

从已有的 binlog 开始，bin.000002 大约有 1.1 个 G：

用 mysqlbinlog 解析该 binlog：

大概会执行 4.6 秒左右。大家仔细做实验时，可以将 binlog 放大一些，让执行实验更长一些。

我们在 mysqlbinlog 解析时，查看其文件句柄：

可以看到 mysqlbinlog 用句柄 3 读取 binlog。（我们暂时忽略句柄 4 指向的临时文件，其涉及到了行格式的解析过程，我们安排在以后的实验中慢慢介绍）

获取了 mysqlbinlog 处理文件句柄 3 的进度，就可以大概估算 mysqlbinlog 的整体进度：

可以看到 mysqlbinlog 此时的进度大概是 600M 左右，整体进度估算为 54%。

结论

我们无法让 mysqlbinlog 直接输出进度，于是通过观察 mysqlbinlog 对 binlog 的读取进度，估算mysqlbinlog 的整体处理进度。

1.lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr|more 在系统访问高峰时间以root用户执行上面的脚本，可能出现的结果如下：1.# lsof -n|awk '{print $2}'|sort|uniq -c |sort -nr|more 2.131 24204 3. 57 24244 4. 57 24231 5. 56 24264 其中第一行是打开的文件句柄数量，第二行是进程号。得到进程号后，我们可以通过ps命令得到进程的详细内容。1.ps -aef|grep 24204 2.mysql24204 24162 99 16:15 ?00:24:25 /usr/sbin/mysqld 哦，原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量，远远底于系统默认值1024。但是如果系统并发特别大，尤其是squid服务器，很有可能会超过1024。这时候就必须要调整系统参数，以适应应用变化。Linux有硬性限制和软性限制。可以通过ulimit来设定这两个参数。方法如下，以root用户运行以下命令：1.ulimit -HSn 4096 以 上命令中，H指定了硬性大小，S指定了软性大小，n表示设定单个进程最大的打开文件句柄数量。个人觉得最好不要超过4096，毕竟打开的文件句柄数越多响 应时间肯定会越慢。设定句柄数量后，系统重启后，又会恢复默认值。如果想永久保存下来，，可以修改 /etc/profile 把上面命令加到最后。(findsun提出的办法比较合理)/////////////////////////////////////////////////////////////////////////////在 Linux下面部署应用的时候，有时候会遇上Socket/File: Can't open so many files的问题，其实Linux是有文件句柄限制的（就像WinXP？），而且默认不是很高，一般都是1024，作为一台生产服务器，其实很容易就达到 这个数量，因此我们需要把这个值改大一些。大概知道ulimit这个命令是相关的，上Google搜索了一下，大多数说的很含糊，也没有统一说一下，经过两个小时看了不少文章终于弄清楚ulimit相关的一些配置问题。我们可以用ulimit -a来查看所有限制值，我只关心文件句柄数量的问题open files (-n) 1024这个就是限制数量这里，有很多ulimit的文章都说的很含糊，究竟这个1024是系统的限制，还是用户的限制呢。其实，这个是用户限制来的，完整的说法，应该是当前用户准备要运行的程序的限制。1、这个限制是针对单个程序的限制2、这个限制不会改变之前已经运行了的程序的限制3、对这个值的修改，退出了当前的shell就会消失比如说，我先运行了一个程序A，然后通过ulimit修改了限制为2048，然后运行B，然后退出了shell再登录，然后运行C。那就只有B可以打开2048个句柄。如果我们需要改变整体的限制值，或者我们运行的程序是系统启动的，应该怎么处理呢其中一个方法，是想ulimit修改命令放入/etc/profile里面，但是这个做法并不好正确的做法，应该是修改/etc/security/limits.conf里面有很详细的注释，比如* soft nofile 2048* hard nofile 32768就可以将文件句柄限制统一改成软2048，硬32768这里涉及另外一个问题，什么是软限制，什么是硬限制硬限制是实际的限制，而软限制，是warnning限制，只会做出warning其实ulimit命令本身就有分软硬设置，加-H就是硬，加-S就是软默认显示的是软限制，如果修改的时候没有加上的话，就是两个一起改 配置文件最前面的一位是domain，设置为星号代表全局，另外你也可以针对不同的用户做出不同的限制修改了，重新登录用ulimit一开就立刻生效了，不过之前启动过的程序要重新启动才能使用新的值。我用的是CentOS，似乎有些系统需要重启才能生效。ulimit其实就是对单一程序的限制那系统总限制呢其实是在这里，/proc/sys/fs/file-max可以通过cat查看目前的值，echo来立刻修改另外还有一个，/proc/sys/fs/file-nr只读，可以看到整个系统目前使用的文件句柄数量查找文件句柄问题的时候，还有一个很实用的程序lsof可以很方便看到某个进程开了那些句柄也可以看到某个文件/目录被什么进程占用了。

你进入mysql /bin目录下你可以看到有一个mysqlbinlog可执行文件，只要 在命令下 ~ mysqlbinlog binlog文件 就可以查看咯，一般做增量备份，查看数据 *** 作或是恢复数据才看这个的吧

---