Linux系统下mysql运行慢,请给出分析方案!!

Linux系统下mysql运行慢,请给出分析方案!!,第1张

Linux 进程通过 C 标准库中的内存分配函数 malloc 向系统申请内存,但是到真正与内核交互之间,其实还隔了一层,即内存分配管理器(memory allocator)。常见的内存分配器包括:ptmalloc(Glibc)、tcmalloc(Google)、jemalloc(FreeBSD)。MySQL 默认使用的是 glibc 的 ptmalloc 作为内存分配器。

内存分配器采用的是内存池的管理方式,处在用户程序层和内核层之间,它响应用户的分配请求,向 *** 作系统申请内存,然后将其返回给用户程序。

为了保持高效的分配,分配器通常会预先向 *** 作系统申请一块内存,当用户程序申请和释放内存的时候,分配器会将这些内存管理起来,并通过一些算法策略来判断是否将其返回给 *** 作系统。这样做的最大好处就是可以避免用户程序频繁的调用系统来进行内存分配,使用户程序在内存使用上更加高效快捷。

关于 ptmalloc 的内存分配原理,个人也不是非常了解,这里就不班门弄斧了,有兴趣的同学可以去看下华庭的《glibc 内存管理 ptmalloc 源代码分析》。

关于如何选择这三种内存分配器,网上资料大多都是推荐摒弃 glibc 原生的 ptmalloc,而改用 jemalloc 或者 tcmalloc 作为默认分配器。因为 ptmalloc 的主要问题其实是内存浪费、内存碎片、以及加锁导致的性能问题,而 jemalloc 与 tcmalloc 对于内存碎片、多线程处理优化的更好。

目前 jemalloc 应用于 Firefox、FaceBook 等,并且是 MariaDB、Redis、Tengine 默认推荐的内存分配器,而 tcmalloc 则应用于 WebKit、Chrome 等。

0 先了解主机和数据库的环境

#主机

内存多大,为了看有多少剩余能为mysql留出多少来:free

资源使用情况,看负载情况,重点看空闲 CPU百分比(带 xx% id):top

#mysql

看mysql数据文件多大:du -c -s /var/lib/mysql

1 初步调整(最主要的)

# 配置mysql的innodb内存占用,根据上边结果中剩余内存(取80%)增加 innodb_buffer_pool_size的值

# 配置mysql的其它内存使用和缓存使用情况,不要加的太大,主要是 sort_buffer_size, join_buffer_size, key_cache_size。

配置依据是:总内存 - OS系统预留 - max_connections * (sort_buffer_size + join_buffer_size + read_buffer_size + read_rnd_buffer_size + thread_statck ) - key_cache_size >0

2 优化调整(属于优化性能方面)

主要是以下几方面:

连接等待队列数 back_log

客户端请求线程缓存数 thread_cache_size

表缓冲的数量 table_open_cache

临时表的内存大小,用于group by的优化 tmp_table_size

innodb日志缓冲大小 innodb_log_buffer_size

innodb能打开表的数量大小(库里的表特别多时增加此项值) innodb_open_files

DBI默认是自动commit的。

因此,你循环里面的

$ImportData->execute(temp[0],$temp[1],$temp[2],$temp[3],temp[4],$temp[5],$temp[6])

每插一行,就commit一次,效率就很差了。

1.在连接库后,禁用自动commit:

$dbh->{AutoCommit} = 0

2. 控制commit频度:

$ImportData->execute(temp[0],$temp[1],$temp[2],$temp[3],temp[4],$temp[5],$temp[6])

$i++

$dbh->commit() if $i % 1000==0 #插1000行,commit一次

然后,你就会体会到飞一般的感觉


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/8735018.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-20
下一篇 2023-04-20

发表评论

登录后才能评论

评论列表(0条)

保存