如何优化因 MYSQL 读写频繁,负载过高导致的CPU高占用率

如何优化因 MYSQL 读写频繁,负载过高导致的CPU高占用率,第1张

诊断思路

mpstat -P ALL 1,查看cpu使用情况,主要消耗在sys即os系统调用上

perf top,cpu主要消耗在_spin_lock

生成perf report查看详细情况

CPU主要消耗在mutex争用上,说明有锁热点。

采用pt-pmp跟踪mysqld执行情况,热点主要集中在mem_heap_alloc和mem_heap_free上。

Pstack提供更详细的API调用栈

Innodb在读取数据记录时的API路径为

row_search_for_mysql --》row_vers_build_for_consistent_read --》mem_heap_create_block_func --》mem_area_alloc --》malloc --》  _L_unlock_10151 --》__lll_unlock_wait_private

row_vers_build_for_consistent_read会陷入一个死循环,跳出条件是该条记录不需要快照读或者已经从undo中找出对应的快照版本,每次循环都会调用mem_heap_alloc/free。

而该表的记录更改很频繁,导致其undo history list比较长,搜索快照版本的代价更大,就会频繁的申请和释放堆内存。

Linux原生的内存库函数为ptmalloc,malloc/free调用过多时很容易产生锁热点。

当多条 SQL 并发执行时,会最终触发os层面的spinlock,导致上述情形。

解决方案

将mysqld的内存库函数替换成tcmalloc,相比ptmalloc,tcmalloc可以更好的支持高并发调用。

修改mycnf,添加如下参数并重启

[mysqld_safe]malloc-lib=tcmalloc

上周五早上7点执行的 *** 作,到现在超过72小时,期间该实例没有再出现cpu长期飙高的情形。

以下是修改前后cpu使用率对比

一,确认服务器硬件是否足够支持当前的流量。

二,优化数据库访问。

服务器的负载过大,一个重要的原因是CPU负荷过大,降低服务器CPU的负荷,才能够有效打破瓶颈。而使用静态页面可以使得CPU的负荷最小化。前台实现完全的静态化当然最好,可以完全不用访问数据库,不过对于频繁更新的网站,静态化往往不能满足某些功能。

缓存技术就是另一个解决方案,就是将动态数据存储到缓存文件中,动态网页直接调用这些文件,而不必再访问数据库,WordPress和Z-Blog都大量使用这种缓存技术。

如果确实无法避免对数据库的访问,那么可以尝试优化数据库的查询SQL避免使用Select from这样的语句,每次查询只返回自己需要的结果,避免短时间内的大量SQL查询。

三,禁止外部的盗链

外部网站的或者文件盗链往往会带来大量的负载压力,因此应该严格限制外部对于自身的或者文件盗链,好在目前可以简单地通过refer来控制盗链,Apache自己就可以通过配置来禁止盗链,IIS也有一些第三方的ISAPI可以实现同样的功能。当然,伪造refer也可以通过代码来实现盗链,不过目前蓄意伪造refer盗链的还不多,可以先不去考虑,或者使用非技术手段来解决,比如在上增加水印。

四,控制大文件的下载。

大文件的下载会占用很大的流量,并且对于非SCSI硬盘来说,大量文件下载会消耗CPU,使得网站响应能力下降。因此,尽量不要提供超过2M的大文件下载,如果需要提供,建议将大文件放在另外一台服务器上。

可以设置

负载均衡

磁盘列阵

当然了

可以把

网站

设置成

附件一个服务器

数据库一个服务器

主站一个服务器

这样会好很多!

当然了

如果是

攻击导致的

就开防火墙吧!

可以先使用 uptime 命令查看 CPU 平均负载

那个 2 users 表示用户连接数,指的是总连接数。

那个 load average 就是系统平均负载,1 分钟、5 分钟、15 分钟系统负载的平均值。

指的是一段时间内 CPU 正在处理以及等待 CPU 处理的进程数之和的统计信息,也就是 CPU 使用队列的长度的统计信息。这个数字越小越好。

然后再用 vmstat 命令看下 CPU 是否饱和

这里面的 r 就是等待 CPU 的进程数,可以用来判定 CPU 是否饱和,当 r 值高于 CPU 数时,就意味着饱和了。

最右边那个 us,sy,id,wa,st 表示所有 CPU 的使用百分比。它们分别是 user time,system time,idle,wait I/O 和 steal time 的缩写。将 us 和 sy 的百分比加和,可以确定 CPU 是否处于忙碌状态。

如果是多核的机器还可以使用 mpstat 命令查看是否均衡

与 CPU 相关的命令还有 pidstat

这个命令展示了 CPU 消耗在了哪些进程上面,消耗过大的进程需要格外关注下。

基本上你使用上述几个命令 就可以初步了解 CPU 出现了何种问题

有了猜测的方向之后 你就可以进一步深入去排查了

一般来说,正常下载时不会造成磁盘负荷过重,除非你在进行其它需要硬盘大量读写的 *** 作

把缓存调小点再重启电脑试试 建议UT缓存大小不超过1G,设置过大,UT容易崩溃

养成正常退出UT的习惯,即先停止所有任务,再退出UT直接退出UT会使缓存(内存)中的数据来不及写入硬盘,再开启UT,就会HASH上次不正常退出时下载中的任务

添加新种子时,特别是大容量的种子,可以先暂停或停止下载/上传中的任务,待新任务磁盘空间预分配好后,再开始之前的下载/上传 严重建议"别取消UT预分配磁盘空间"功能,UT高级设置中diskiono_zero设为TRUE(即用其他方法代替刷0)近似于取消"UT预分配磁盘空间"

以上就是关于如何优化因 MYSQL 读写频繁,负载过高导致的CPU高占用率全部的内容,包括:如何优化因 MYSQL 读写频繁,负载过高导致的CPU高占用率、服务器负载量过大,怎样处理、服务器负载高怎么办等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/10174016.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-06
下一篇 2023-05-06

发表评论

登录后才能评论

评论列表(0条)

保存