web服务器访问缓慢,作为运维人员,如何定位故障

web服务器访问缓慢,作为运维人员,如何定位故障,第1张

遇到服务器故障,问题出现的原因很少可以一下就想到。我们基本上都会从以下步骤入手:

一、尽可能搞清楚问题的前因后果

不要一下子就扎到服务器前面,你需要先搞明白对这台服务器有多少已知的情况,还有故障的具体情况。不然你很可能就是在无的放矢。

必须搞清楚的问题有:

故障的表现是什么?无响应?报错?
故障是什么时候发现的?
故障是否可重现?
有没有出现的规律(比如每小时出现一次)
最后一次对整个平台进行更新的内容是什么(代码、服务器等)?
故障影响的特定用户群是什么样的(已登录的, 退出的, 某个地域的…)
基础架构(物理的、逻辑的)的文档是否能找到
是否有监控平台可用 (比如Munin、Zabbix、 Nagios、 New Relic…
什么都可以)
是否有日志可以查看 (比如Loggly、Airbrake、 Graylog…)
最后两个是最方便的信息来源,不过别抱太大希望,基本上它们都不会有。只能再继续摸索了。


二、有谁在

代码如下:


$ w
$ last

用这两个命令看看都有谁在线,有哪些用户访问过。这不是什么关键步骤,不过最好别在其他用户正干活的时候来调试系统。有道是一山不容二虎嘛。(ne cook in
the kitchen is enough)

三、之前发生了什么

$
history查看一下之前服务器上执行过的命令。看一下总是没错的,加上前面看的谁登录过的信息,应该有点用。另外作为admin要注意,不要利用自己的权限去侵犯别人的隐私哦。

到这里先提醒一下,等会你可能会需要更新 HISTTIMEFORMAT
环境变量来显示这些命令被执行的时间。对要不然光看到一堆不知道啥时候执行的命令,同样会令人抓狂的。

四、现在在运行的进程是啥

代码如下:


$ pstree -a
$ ps aux

这都是查看现有进程的。 ps aux 的结果比较杂乱, pstree -a 的结果比较简单明了,可以看到正在运行的进程及相关用户。

五、监听的网络服务

代码如下:


$ netstat -ntlp
$ netstat -nulp
$
netstat -nxlp

我一般都分开运行这三个命令,不想一下子看到列出一大堆所有的服务。netstat -nalp倒也可以。不过我绝不会用 numeric 选项
(鄙人一点浅薄的看法:IP 地址看起来更方便)。

找到所有正在运行的服务,检查它们是否应该运行。查看各个监听端口。在netstat显示的服务列表中的PID 和 ps aux 进程列表中的是一样的。

如果服务器上有好几个Java或者Erlang什么的进程在同时运行,能够按PID分别找到每个进程就很重要了。

通常我们建议每台服务器上运行的服务少一点,必要时可以增加服务器。如果你看到一台服务器上有三四十个监听端口开着,那还是做个记录,回头有空的时候清理一下,重新组织一下服务器。

六、CPU 和内存

 代码如下:


$ free -m
$ uptime
$ top
$
htop

注意以下问题:

还有空余的内存吗 服务器是否正在内存和硬盘之间进行swap
还有剩余的CPU吗 服务器是几核的 是否有某些CPU核负载过多了
服务器最大的负载来自什么地方 平均负载是多少

七、硬件

代码如下:


$ lspci
$ dmidecode
$
ethtool

有很多服务器还是裸机状态,可以看一下:

找到RAID 卡 (是否带BBU备用电池)、 CPU、空余的内存插槽。根据这些情况可以大致了解硬件问题的来源和性能改进的办法。
网卡是否设置好
是否正运行在半双工状态 速度是10MBps 有没有 TX/RX 报错

八、IO 性能

代码如下:


$ iostat -kx 2
$ vmstat 2 10
$ mpstat
2 10
$ dstat --top-io --top-bio

这些命令对于调试后端性能非常有用。

检查磁盘使用量:服务器硬盘是否已满
是否开启了swap交换模式 (si/so)
CPU被谁占用:系统进程 用户进程 虚拟机
dstat 是我的最爱。用它可以看到谁在进行 IO: 是不是MySQL吃掉了所有的系统资源 还是你的PHP进程

九、挂载点 和 文件系统

 代码如下:


$ mount
$ cat /etc/fstab
$ vgs
$
pvs
$ lvs
$ df -h
$ lsof +D / / beware not to kill your box
/

一共挂载了多少文件系统
有没有某个服务专用的文件系统 (比如MySQL)
文件系统的挂载选项是什么: noatime
default 有没有文件系统被重新挂载为只读模式了?
磁盘空间是否还有剩余
是否有大文件被删除但没有清空
如果磁盘空间有问题,你是否还有空间来扩展一个分区?

十、内核、中断和网络

 代码如下:


$ sysctl -a | grep
$ cat
/proc/interrupts
$ cat /proc/net/ip_conntrack / may take some time on busy
servers /
$ netstat
$ ss -s

你的中断请求是否是均衡地分配给CPU处理,还是会有某个CPU的核因为大量的网络中断请求或者RAID请求而过载了?
SWAP交换的设置是什么?对于工作站来说swappinness 设为 60 就很好,
不过对于服务器就太糟了:你最好永远不要让服务器做SWAP交换,不然对磁盘的读写会锁死SWAP进程。

conntrack_max 是否设的足够大,能应付你服务器的流量
在不同状态下(TIME_WAIT, …)TCP连接时间的设置是怎样的?
如果要显示所有存在的连接,netstat 会比较慢, 你可以先用 ss 看一下总体情况。
你还可以看一下 Linux TCP tuning
了解网络性能调优的一些要点。

十一、系统日志和内核消息

 代码如下:


$ dmesg
$ less /var/log/messages
$
less /var/log/secure
$ less /var/log/auth

查看错误和警告消息,比如看看是不是很多关于连接数过多导致?
看看是否有硬件错误或文件系统错误
分析是否能将这些错误事件和前面发现的疑点进行时间上的比对。

十二、定时任务

 代码如下:


$ ls /etc/cron + cat
$ for user in
$(cat /etc/passwd | cut -f1 -d:); do crontab -l -u $user; done

是否有某个定时任务运行过于频繁
是否有些用户提交了隐藏的定时任务
在出现故障的时候,是否正好有某个备份任务在执行?

十三、应用系统日志

这里边可分析的东西就多了,
不过恐怕你作为运维人员是没功夫去仔细研究它的。关注那些明显的问题,比如在一个典型的LAMP(Linux+Apache+Mysql+Perl)应用环境里:

Apache & Nginx; 查找访问和错误日志, 直接找 5xx 错误, 再看看是否有 limit_zone 错误。
MySQL;
在mysqllog找错误消息,看看有没有结构损坏的表, 是否有innodb修复进程在运行,是否有disk/index/query 问题
PHP-FPM; 如果设定了 php-slow 日志, 直接找错误信息 (php, mysql, memcache, …),如果没设定,赶紧设定。
Varnish; 在varnishlog 和 varnishstat 里, 检查 hit/miss比
看看配置信息里是否遗漏了什么规则,使最终用户可以直接攻击你的后端?
HA-Proxy;
后端的状况如何?健康状况检查是否成功?是前端还是后端的队列大小达到最大值了?

结论

经过这5分钟之后,你应该对如下情况比较清楚了:

在服务器上运行的都是些啥?
这个故障看起来是和 IO/硬件/网络 或者 系统配置 (有问题的代码、系统内核调优, …)相关。
这个故障是否有你熟悉的一些特征?比如对数据库索引使用不当,或者太多的apache后台进程。
你甚至有可能找到真正的故障源头。就算还没有找到,搞清楚了上面这些情况之后,你现在也具备了深挖下去的条件。继续努力吧!

1-3全是纯点 有人1200以上收铜啊 可想而知! 4-6虽然没纯点 但是要求等级和MISS率不会让人发疯! 永远也不挣钱 你看过10矿卖16W吧 哎 2星期挖一组就不错了(不拼命挖的人!)
自己开个生产号 供生产号用 在卖装备 着样很赚哦
要是就是卖矿 建议卖7级以下(不包括7) 因为7要到25级才能去的ALN洞 要求级较高 而且MISS率也高!

我各人觉得,PD是靠听觉和大脑配合的,不过我从来都是先求AC,再求PD,因为我一直认为只要一首歌A了,PD怎么都在90%以上,你想想,一首歌就几百个Combo,失误两个就至少降低05-10个PD,相当不划算,还有就是月亮PD到了949596时再想死练月亮PD,其效果已经是很微小了,不如多练太阳,我的经验就是,想打好PD,那么就少按70%和80%,尽量多按99和90,因为我经常都觉得在打Maximum Risk这首考执照歌的时候,只要我按了一两个70甚至60,那么我肯定打不到96或者97反而有时在觉得自己按了很多黄点(90)的时候以为自己最多只有94左右的PD了,最后才发现PD都在96或者97,反正想打好PD,尽量别按80%以下不然你的PD怎么也提不上很高的
还有就是一首歌的Combo数直接影响到这首歌的PD,试想想,像呛司呛司,舞娘,Disco和Eternity这些歌只有300多的Combo,而New World,Franken Beat,Mission Ipossible,四小天鹅这些歌曲却有500多甚至600的Combo,几乎是前者的一倍,为什么大多数人都觉得呛司呛司,舞娘,Disco和Eternity这些歌比较难打PD呢,我们这样分析一下:因为大多数人的白点率都远低于黄点和红点(这是正常的),因为PD总分10个层次,白点只占10%,系统最后是这样算最终PD的--即"有效Combo的PD总和除以Comob总数"这样只需拿笔一算,就可以很清楚的发现在Combo数多的歌曲里即使打出一小部分低PD,但是却对总成绩影响不是很大,相反,在Combo总数少的歌曲里,哪怕是一个Miss,对PD的影响都很致命,这就是低Combo歌曲难打PD的一个比较大的原因,也就是说,在Combo总数多的歌曲里,你可以打更多的失误或者低PD,总成绩却和Combo总数少的歌曲PD相差无几甚至更高,如果还不能理解,你就这样想:假如一首歌只有99个ombo,你按了97个白点,却Miss了两个,那么最终PD只有97,一个Miss直接影响一点PD,可是假如一首歌有200的Combo,你也Miss了两个,最终PD却是98所以Combo多的歌曲你打到了比较高的PD也别骄傲,要想想在音速进步到一定程度的时候,能提高一点PD是多么难能可贵,相信各位都很清楚,所以尽量以自己打Combo数少的歌曲的PD为自己的基本PD,当然,像Space Boy或者1234这样的歌曲不在讨论范围内(因为实在太简单了)
至于PD总是提高不上去的问题,首先不要灰心,仍然要相信自己,比如Maximum Risk是许多人津津乐道的歌曲,为了过太阳任务苦心练习,我当时重新玩音速就是为了去太阳瞧瞧,结果自己过不了任务,PD总是在9192徘徊,好在任务地图比较顺眼,能打到9293,偶然一次打到了94,也许那天服务器出错,提示我PD94但没有通过任务我当时也很纳闷,因为自己已经练了很久了,还过不了太阳,也想过放弃,因为本来就好几个月没玩了,没想到偶尔一次打着玩的心态过任务,却把太阳执照考到手了,后来听了原版音乐后,才发觉想提高Maximum的PD原来如此简单,我很快就把它的PD稳定在了95以上,所以,当你PD久练没有提高的时候,试着放松一下玩这歌曲,急于求成反而无用,听听原版带会有很多好处,像So Good和Bingo这样的歌,哪怕只听几次原版带,都胜过你稀里糊涂靠感觉模糊的打PD来得有效,我也是听过原版带后才知道自己之前按得是多么臭,但是因为长期的错误节奏造成了思维定势,想改正也是很困难的,所以,早一天听原版音乐吧,呵呵Bingo中间的浮云断,知道正确的节奏后你会发现那里过起来是如此的简单。
月亮频道的PD有个9394或者95就已经很不错了,应该把重心放在太阳频道,当练过太阳频道一段时间后,你会发现本来很难提高的月亮PD又会有所增长,我打太阳的时候并不在意AC,而是和打月亮时相反,我更注意PD,我觉得在太阳里很容易遇到那些月亮歌曲里很难打PD的地方,比如不如跳舞的连续左左左左右右右右就很类似Mission Impossible的那个难点,反正太阳歌曲想AC十分不容易,在一些难点就更不怕摔不怕Miss这样的练法我觉得跟月亮频道练习中那种唯唯诺诺怕摔怕撞怕不能AC怕低PD的心态相比有很大的积极意义,也就是说当月亮PD练不动的时候,适当的以练太阳来提高月亮水平是很有效的
本来不想打那么多的,不过自己玩音速这么久了,浏览下网页,发现好多关于讨论音速提高PD方法的帖子仍然是几个月前甚至大半年前的老掉牙的文章了,我发觉那些帖子并不能起多大作用,甚至觉得那些帖子有点"误导"一些才学音速的朋友,音速不能完全靠听,很多时候是需要看的,毕竟你得看着屏幕过来的障碍来看怎么按吧,打音速节奏感固然重要,但是反应也同样重要。
音速的歌曲是需要手速,爆发力和反应力的,这三样基础缺一不可,我本人就觉得自己手速和反应够,但是缺乏爆发力,像连续的左左左左 右右右右或者左左 右右 左左 右右这样的障碍时就显得非常吃力,我也有朋友他爆发力很好,速度很快的连击照样应付自如,但是缺乏反应力,在相对密集的区域,他空有一身手速和爆发力无发施展,这也就是大多数人无法同时满足这三点要求所以音速进展到一定程度时就很难再提高的主要原因,我个人的意见就是,针对自己的弱点主动练习不要逃避,相信很多人都有自己喜欢的歌曲和讨厌的歌曲,平时对战或者练习时往往采取回避这类歌曲的态度,因为老是觉得自己这类歌曲打不好,担心成绩很臭,久而久之,很多自己不喜欢的歌甚至都忘得差不多了,其实这些所谓的自己讨厌的歌曲正是自己的手的弱点针对性较强的歌曲,我本人以前也是这个样子的,在06年的9月下旬左右到年末这三个月,我因为工作太忙而一直没有玩音速,不过我本人是非常喜欢这游戏的,内测第一天我就在玩,呵呵,5月到8月左右也中断了三个月,当时因为不出太阳频道和工作实在太忙,所以又没能继续玩,直到06年暑假时才又继续,基本上后来就在月亮混分,在不能玩游戏的时候,工作闲暇之余时常回味我的音速之旅,也不断总结,想了想,还是把我的音速总结写出来与大家分享吧,或多或少有点道理,反正我就是这样过来的,音速是个Game,很多时候我们不需要太在意成绩,超越自己才是最大的成功,说出来不怕笑话,我以前也是这样,不喜欢的歌曲就一概不选,后来经过今年下半年的三个月远离音速的日子,我想过很多,也就分析出自己的弱点所在,玩好音速的三大要点我个人认为就是"手速,爆发力和反应"有人想问,为什么没有节奏感呢
当然,节奏感固然重要,不过我想我会把节奏感包括到反应里去,因为大多数人都一样,在自己按不过来的歌里,反应比节奏更重要,空有超强的节奏和手速,在密集的障碍和星星障碍混杂的地区反应不过来,那也是没有用的,我曾经AC呛司的时候就是在关闭声音的情况下AC的,为了把自己全身心投入到障碍和反应里,我就关掉了我自己认为的影响判断的声音(也就是节奏)我个人还认为节奏在最后并不是非常重要了,因为音速的障碍是固定不变的,熟悉到一定程度的时候,绝大多数人过障碍是靠的以往的经验和感觉,相对把节奏忽略了,试问,听过几百次的歌,你还有理由对它的节奏不熟吗不过我也坚持认为,大多数人玩大多数歌曲时,自己本身的手速是足够的,之所以在某些歌曲的某些固定的地方老是错误,是因为错误的节奏造成的,(强烈建议在玩一首不熟悉的歌或者新歌的时候先下载试听原版歌曲),在06下半年不能玩音速的日子里,我的Mp3里面几乎都是音速歌曲,在听了三个月原版带之后我重新玩音速,突然发现自己的PD有了质的提高,随后以前难A或者没A过的歌曲都一一AC了,我自己也感觉很奇怪,自己仅仅是恢复性训练了几个钟头,就发觉以前认为很难的歌原来是如此得简单,特别是Destory Instinct这首歌的时候,以前好像就没连上过200PD最高也就90,现在却很轻松上94的PD并且AC了,之所以有这样的感觉还因为后来新出的歌曲如公安与小贼,赛马之类的歌,因为没听过也无法下载到原版带,搞得这两首歌现在很障碍,很难AC并且PD起伏很大,低的时候甚至只有不到90的PD,而听过很多次的Mission Impossible,Franken Beat等,玩起来则很轻松,其实这几首歌的难度都差不多,但是从中分析,不难看出是因为我的爆发力不够且对歌曲不熟悉所造成的,当然,在这里我不并是说希望大家只听原版歌不打游戏了,我这样说只是强调一下听原版带的好处而已,最重要的还是练习,不然就会像我这样玩游戏时很不稳定,同样一首歌可以打出88-96不等的成绩,呵呵,练习才是硬道理,我自己的弱点已经找到,但想克服其实是非常困难的,没有一定恒心很难有提高,因为弱点毕竟是弱点,你必须花好几倍的时间来着重提高你的弱点,否则音速到了一定的阶段再想提高就非常困难
在这里我不讨论星星,因为我自十级后再也没去过星星,总的来说,月亮里的歌大致可以看为几种类型,有歌曲慢障碍少的(如1234此类歌相信大家都能AC,属最简单型),有歌曲慢障碍多而密的(如In to the sun),有歌曲快障碍少的(如Ruma ba和Space Boy),有歌曲快障碍多的(如Maximum Risk或者Pathetique贝多芬)有速度适中障碍或多或少的,(或少的如Cup,或多的如化碟飞Eternity等)诸如几类,很多人在练习快歌时觉得容易上手,那是因为快歌的障碍相对分布得较开,靠反应就基本能打,其实一味练习快歌并不就能成为超级ET,相信很多人从一开始玩音速就比较喜欢快歌,久而久之就形成了对快歌的依赖,歌曲一旦慢下来就显得有些力不从心,我本人就是这样子的,至今我也对慢歌很头疼,不过根据自己的实践,我觉得慢歌更讲究节奏和对歌曲熟悉程度,如In to the sun和DISCO,相信是大多数人的噩梦```,节奏感有天赋的玩起来很轻松,不过也不是说节奏感不好就不能玩,多听听原版带是有非常大的帮助的,在这里我想综合起来做个小结,这几大类型的歌,歌曲慢障碍多而密的歌曲更讲究节奏和对歌曲的熟悉程度,歌曲快障碍少的讲究手速,歌曲快而密集的就讲究爆发力和手速了,像Mission Impossible的279-294这一段,连续的右右右右 左左左左让很多高手"华丽得摔倒",这里就讲究爆发力,还有Franken Beat的连续左右左右左右左右那里也需要一定的爆力,公安小贼歌曲的最后部分以及430-480这一部分和赛马的星星浮云段,连续的左右左右左右,更是对爆发力有一定的要求,爆发力差是大多数人音速玩家的弊病(起码我自己就是),我觉得可以多练练太阳的So Hot,乒乓球俱乐部和不如跳舞来强迫自己提高爆发力,手速怎么练就很难说了,我自己也练不好,呵呵,这个希望有高手能给出更好的建议,反应力也不好说,有的人天生反应快,不过更多的游戏体验就会带来更快的反应力,呵呵,练快歌当然是不二之选,(像无限挑战,Burning Sky,Fastlight这类)
文中全是我自己的真实情况,作者资质有限,文中有错误之处难免,还望指点,原谅我还想说句:"刷分纯属无聊,完全没有意义,等级并不能代表什么,真的。。。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/13435726.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-08-05
下一篇 2023-08-05

发表评论

登录后才能评论

评论列表(0条)

保存