这一期我们来看一下有哪些办法可以减少linux下的文件碎片。主要是针对磁盘长期满负荷运转的使用场景(例如>你说这个问题,提得不够准确。磁盘是指什么,IO又是什么。别人难以把握你的问题精华,难以处理你的提问。我这样认为:
磁盘现在大多是指硬盘,以前有144MB软盘,亦可讲为磁盘;每秒多少次IO这种提法是错误的。因为磁盘,最主要是指硬盘参数,它有它的参数标准的,好像硬盘转速、硬盘接口是IDE口的还是SATA口、是机械或固态硬盘的,是容量大的小,还是容量小的,现在单个硬盘指机械硬盘已经去3TB,容量是非常大。如果将北京最的图书馆的全部藏书文字转为电脑的文字,它所占的容量大概是5-10GB,当是10GB,你说3000GB可以容量多少北京图书馆藏书,大约是300个。你说大不大?
其实你提的问题,应该是说硬盘的转速是怎样的?我可以告诉你啦。比较早期的硬盘,以及现在大多的硬盘是机械硬盘,有碟片的,是可以转动的。至于磁盘碟片转动的讲法,是以每分钟多少转来计算的。早期的硬盘转速有5400转\分,后来的硬盘转速有7200转\分,如果是服务器的硬盘转速可以达10000转\分。现在因为有些硬盘生产面向固态硬盘,它是有大量的集成IC,没有碟片,亦是没有转速的,但它的运行速度比较快,读取数据、写入数据相当的快,缺点是价钱相当的昂贵。
具体问题具体分析,举例来说明为什么磁盘IO成瓶颈数据库的性能急速下降了。
为什么当磁盘IO成瓶颈之后, 数据库的性能不是达到饱和的平衡状态,而是急剧下降。为什么数据库的性能有非常明显的分界点,原因是什么?
相信大部分做数据库运维的朋友,都遇到这种情况。 数据库在前一天性能表现的相当稳定,数据库的响应时间也很正常,但就在今天,在业务人员反馈业务流量没有任何上升的情况下,数据库的变得不稳定了,有时候一个最简单的insert *** 作, 需要几十秒,但99%的insert却又可以在几毫秒完成,这又是为什么了?
dba此时心中有无限的疑惑,到底是什么原因呢 磁盘IO性能变差了?还是业务运维人员反馈的流量压根就不对? 还是数据库内部出问题?昨天不是还好好的吗?
当数据库出现响应时间不稳定的时候,我们在 *** 作系统上会看到磁盘的利用率会比较高,如果观察仔细一点,还可以看到,存在一些读的IO 数据库服务器如果存在大量的写IO,性能一般都是正常跟稳定的,但只要存在少量的读IO,则性能开始出现抖动,存在大量的读IO时(排除配备非常高速磁盘的机器),对于在线交易的数据库系统来说,大概性能就雪崩了。为什么 *** 作系统上看到的磁盘读IO跟写IO所带来的性能差距这么大呢?
如果亲之前没有注意到上述的现象,亲对上述的结论也是怀疑。但请看下面的分解。
在写这个文章之前,作者阅读了大量跟的IO相关的代码,如异步IO线程的相关的,innodb_buffer池相关的,以及跟读数据块最相关的核心函数buf_page_get_gen函数以及其调用的相关子函数。为了将文章写得通俗点,看起来不那么累,因此不再一行一行的将代码解析写出来。
咱们先来提问题。 buf_page_get_gen函数的作用是从Buffer bool里面读数据页,可能存在以下几种情况。
提问 数据页不在buffer bool 里面该怎么办?
回答:去读文件,将文件中的数据页加载到buffer pool里面。下面是函数buffer_read_page的函数,作用是将物理数据页加载到buffer pool, 中显示
buffer_read_page函数栈的顶层是pread64(),调用了 *** 作系统的读函数。
buf_read_page的代码
如果去读文件,则需要等待物理读IO的完成,如果此时IO没有及时响应,则存在堵塞。这是一个同步读的 *** 作,如果不完成该线程无法继续后续的步骤。因为需要的数据页不再buffer 中,无法直接使用该数据页,必须等待 *** 作系统完成IO
再接着上面的回答提问:
当第二会话线程执行sql的时候,也需要去访问相同的数据页,它是等待上面的线程将这个数据页读入到缓存中,还是自己再发起一个读磁盘的然后加载到buffer的请求呢? 代码告诉我们,是前者,等待第一个请求该数据页的线程读入buffer pool。
试想一下,如果第一个请求该数据页的线程因为磁盘IO瓶颈,迟迟没有将物理数据页读入buffer pool, 这个时间区间拖得越长,则造成等待该数据块的用户线程就越多。对高并发的系统来说,将造成大量的等待。 等待数据页读入的函数是buf_wait_for_read,下面是该函数相关的栈。
通过解析buf_wait_for_read函数的下层函数,我们知道其实通过首先自旋加锁pin的方式,超过设定的自旋次数之后,进入等待,等待IO完成被唤醒。这样节省不停自旋pin时消耗的cpu,但需要付出被唤起时的开销。
再继续扩展问题: 如果会话线程A 经过物理IO将数据页1001读入buffer之后,他需要修改这个页,而在会话线程A之后的其他的同样需要访问数据页1001的会话线程,即使在数据页1001被入读buffer pool之后,将仍然处于等待中。因为在数据页上读取或者更新的时候,同样需要上锁,这样才能保证数据页并发读取/更新的一致性。
由此可见,当一个高并发的系统,出现了热点数据页需要从磁盘上加载到buffer pool中时,造成的延迟,是难以想象的。因此排在等待热点页队列最后的会话线程最后才得到需要的页,响应时间也就越长,这就是造成了一个简单的sql需要执行几十秒的原因。
再回头来看上面的问题,mysql数据库出现性能下降时,可以看到 *** 作系统有读IO。 原因是,在数据库对数据页的更改,是在内存中的,然后通过检查点线程进行异步写盘,这个异步的写 *** 作是不堵塞执行sql的会话线程的。所以,即使看到 *** 作系统上有大量的写IO,数据库的性能也是很平稳的。但当用户线程需要查找的数据页不在buffer pool中时,则会从磁盘上读取,在一个热点数据页不是非常多的情况下,我们设置足够大的innodb_buffer_pool的size, 基本可以缓存所有的数据页,因此一般都不会出现缺页的情况,也就是在 *** 作系统上基本看不到读的IO。 当出现读的IO时,原因时在执行buf_read_page_low函数,从磁盘上读取数据页到buffer pool, 则数据库的性能则开始下降,当出现大量的读IO,数据库的性能会非常差。
接着上篇 性能分析网络篇(一) ,通过一些实例继续分析磁盘性能,希望能给研发兄弟们一点点参考价值。1,安装工具
2,使用stress进行磁盘负载测试
3,分别使用iotop、iostat进行磁盘监控
cpu高的怎么回事(一)
cpu高的怎么回事(二)
cpu高的怎么回事(三)
内存异常的那些事(一)
网络监控的那些事(一)知道一点
分享下
所谓无盘是指除服务器外,就是网吧里面的那么多台机器是没硬盘的。
启动是设置的是用网络链接到服务器启动。当然游戏什么的全是调用服务器。
好处就是便于管理和维护,缺点就是台贵! 当然其优点还是很突出的!
有一个服务器启动当然要一个服务器联网了。至于另外一个服务器干什么就看网吧的人了。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)