系统的软中断CPU使用率升高，我该怎么办？

[TOC]
上一期我给你讲了软中断的基本原理，我们先来简单复习下。

中断是一种异步的事件处理机制，用来提高系统的并发处理能力。中断事件发生，会触发执行中断处理程序，而中断处理程序被分为上半部和下半部这两个部分。

Linux 中的软中断包括网络收发、定时、调度、RCU 锁等各种类型，我们可以查看 proc 文件系统中的 /proc/softirqs ，观察软中断的运行情况。

在 Linux 中，每个 CPU 都对应一个软中断内核线程，名字是 ksoftirqd/CPU 编号。当软中断事件的频率过高时，内核线程也会因为 CPU 使用率过高而导致软中断处理不及时，进而引发网络收发延迟、调度缓慢等性能问题。

软中断 CPU 使用率过高也是一种最常见的性能问题。今天，我就用最常见的反向代理服务器 Nginx 的案例，教你学会分析这种情况。

接下来的案例基于 Ubuntu 1804，也同样适用于其他的 Linux 系统。我使用的案例环境是这样的：

这里我又用到了三个新工具，sar、 hping3 和 tcpdump，先简单介绍一下：

本次案例用到两台虚拟机，我画了一张图来表示它们的关系。

你可以看到，其中一台虚拟机运行 Nginx ，用来模拟待分析的 Web 服务器；而另一台当作 Web 服务器的客户端，用来给 Nginx 增加压力请求。使用两台虚拟机的目的，是为了相互隔离，避免“交叉感染”。

接下来，我们打开两个终端，分别 SSH 登录到两台机器上，并安装上面提到的这些工具。

同以前的案例一样，下面的所有命令都默认以 root 用户运行，如果你是用普通用户身份登陆系统，请运行 sudo su root 命令切换到 root 用户。

安装完成后，我们先在第一个终端，执行下面的命令运行案例，也就是一个最基本的 Nginx 应用：

然后，在第二个终端，使用 curl 访问 Nginx 监听的端口，确认 Nginx 正常启动。假设 1921685899 是 Nginx 所在虚拟机的 IP 地址，运行 curl 命令后你应该会看到下面这个输出界面：

接着，还是在第二个终端，我们运行 hping3 命令，来模拟 Nginx 的客户端请求：

现在我们再回到第一个终端，你应该发现了异常。是不是感觉系统响应明显变慢了，即便只是在终端中敲几个回车，都得很久才能得到响应？这个时候应该怎么办呢？

虽然在运行 hping3 命令时，我就已经告诉你，这是一个 SYN FLOOD 攻击，你肯定也会想到从网络方面入手，来分析这个问题。不过，在实际的生产环境中，没人直接告诉你原因。

所以，我希望你把 hping3 模拟 SYN FLOOD 这个 *** 作暂时忘掉，然后重新从观察到的问题开始，分析系统的资源使用情况，逐步找出问题的根源。

那么，该从什么地方入手呢？刚才我们发现，简单的 SHELL 命令都明显变慢了，先看看系统的整体资源使用情况应该是个不错的注意，比如执行下 top 看看是不是出现了 CPU 的瓶颈。我们在第一个终端运行 top 命令，看一下系统整体的资源使用情况。

这里你有没有发现异常的现象？我们从第一行开始，逐个看一下：

那为什么系统的响应变慢了呢？既然每个指标的数值都不大，那我们就再来看看，这些指标对应的更具体的含义。毕竟，哪怕是同一个指标，用在系统的不同部位和场景上，都有可能对应着不同的性能问题。

仔细看 top 的输出，两个 CPU 的使用率虽然分别只有 33% 和 44%，但都用在了软中断上；而从进程列表上也可以看到，CPU 使用率最高的也是软中断进程 ksoftirqd。看起来，软中断有点可疑了。

根据上一期的内容，既然软中断可能有问题，那你先要知道，究竟是哪类软中断的问题。停下来想想，上一节我们用了什么方法，来判断软中断类型呢？没错，还是 proc 文件系统。观察 /proc/softirqs 文件的内容，你就能知道各种软中断类型的次数。

不过，这里的各类软中断次数，又是什么时间段里的次数呢？它是系统运行以来的累积中断次数。所以我们直接查看文件内容，得到的只是累积中断次数，对这里的问题并没有直接参考意义。因为，这些中断次数的变化速率才是我们需要关注的。

那什么工具可以观察命令输出的变化情况呢？我想你应该想起来了，在前面案例中用过的 watch 命令，就可以定期运行一个命令来查看输出；如果再加上 -d 参数，还可以高亮出变化的部分，从高亮部分我们就可以直观看出，哪些内容变化得更快。

比如，还是在第一个终端，我们运行下面的命令：

通过 /proc/softirqs 文件内容的变化情况，你可以发现， TIMER（定时中断）、NET_RX（网络接收）、SCHED（内核调度）、RCU（RCU 锁）等这几个软中断都在不停变化。

其中，NET_RX，也就是网络数据包接收软中断的变化速率最快。而其他几种类型的软中断，是保证 Linux 调度、时钟和临界区保护这些正常工作所必需的，所以它们有一定的变化倒是正常的。

那么接下来，我们就从网络接收的软中断着手，继续分析。既然是网络接收的软中断，第一步应该就是观察系统的网络接收情况。这里你可能想起了很多网络工具，不过，我推荐今天的主人公工具 sar 。

sar 可以用来查看系统的网络收发情况，还有一个好处是，不仅可以观察网络收发的吞吐量（BPS，每秒收发的字节数），还可以观察网络收发的 PPS，即每秒收发的网络帧数。

我们在第一个终端中运行 sar 命令，并添加 -n DEV 参数显示网络收发的报告：

对于 sar 的输出界面，我先来简单介绍一下，从左往右依次是：

我们具体来看输出的内容，你可以发现：

从这些数据，你有没有发现什么异常的地方？

既然怀疑是网络接收中断的问题，我们还是重点来看 eth0 ：接收的 PPS 比较大，达到 12607，而接收的 BPS 却很小，只有 664 KB。直观来看网络帧应该都是比较小的，我们稍微计算一下，6641024/12607 = 54 字节，说明平均每个网络帧只有 54 字节，这显然是很小的网络帧，也就是我们通常所说的小包问题。

那么，有没有办法知道这是一个什么样的网络帧，以及从哪里发过来的呢？

使用 tcpdump 抓取 eth0 上的包就可以了。我们事先已经知道， Nginx 监听在 80 端口，它所提供的 >

如今，社区是人们生活的主要场所，老式社区的运营及管理方式已远远不能满足人们日益增长的物质和文化生活需要。社区的通讯、安全、环保、社区居民信息的收集、处理及共享等问题都成为阻碍社区服务进一步发展的瓶颈。在这种背景下，智慧社区解决方案应运而生。智慧社区的基本服务理念是使社区居民生活更加安全、健康、便捷、幸福。

智慧社区区别于传统社区是在于其城市管理、政府职能以及社会服务的“智慧化”、这一独特而鲜明的特征体现在社区服务的提供者和接受者两个层面。社区服务的提供者应该有预见性地了解到居民的需求，主动将精准的信息和服务通过敏捷的手段推送给需要者；而社区服务的接受者则可以在社区内随时、随地、随需地获取各种服务。

目前，与社区工作密切相关的信息系统门类繁多，没有统一应用平台，各系统数据无法实现共享，社区工作重复性高，难以对社区管理科学决策。智慧社区管理平台是一个开放式的社区服务平台，通过与城市一体化平台（GWIM）的对接，可以承载各类已有和新建的社区应用，一方面向社区应用提供商提供统一化的应用集成与运行管理平台，另一方面，为居民公众提供统一的访问入口，以及全面、专业、完善的社区服务。基于智慧社区具有数据量庞大，业务复杂，应用分布以及按需服务的特点，且伴随着社区服务的深入推进，将不断接入新的社区应用，因此将采用云计算模式进行建设，并采用公有云模式向社区应用提供商和居民公众提供服务。基于人口库、法人库、基础地理信息系统，建设集行政管理、社会事务、便民服务于一体的社区信息服务平台，全面支撑社区管理和服务工作，实现信息资源共享、业务协同，更好地为居民提供便捷服务，为有关领导和部门提供信息参考。

这些都是关于体育的名词，中英对照的。
你看够不够你用？

优秀选手 top-ranking/topnotch athlete
田径运动 track and field; athletics
田赛 field events
竞赛 track events
跳高 high jump
撑杆跳高 pole jump; polevault
跳远 long/broad jump
三级跳远 hop, step and jump; triple jump
标q javelin throw
铅球 shot put
铁饼 discus throw
链球 hammer throw
马拉松赛跑 Marathon (race)
接力 relay race; relay
跨栏比赛 hurdles; hurdle race
竞走 walking; walking race
体 *** gymnastics
自由体 *** floor/free exercises
技巧运动 acrobatic gymnastics
垫上运动 mat exercises
单杠 horizontal bar
双杠 parallel bars
高低杠 uneven bars; high-low bars
吊环 rings
跳马 vaulting horse
鞍马 pommel horse
平衡木 balance beam
球类运动 ball games
足球 football; soccer
足球场 field; pitch
篮球 basketball
篮球场 basketball court
排球 volleyball
乒乓球 table tennis; ping pong
乒乓球拍 racket; bat
羽毛球运动 badminton
羽毛球 shuttlecock; shuttle
球拍 racket
网球 tennis
棒球 baseball
垒球 softball
棒/垒球场 baseball(soft ball)field/ground
手球 handball
手球场 handball field
曲棍球 hockey; field hockey
冰上运动 ice sports
冰球运动 ice hockey
冰球场 rink
冰球 puck; rubber
速度滑冰 speed skating
花样滑冰 figure skating
冰场 skating rink; ice rink
人工冰场 artificial ice stadium
滑雪 skiing
速度滑雪 cross country ski racing
高山滑雪 alpine skiing
水上运动 water/acquatic sports
水上运动中心 aquatic sports center
水球（运动）water polo
水球场 playing pool
滑水 water-skiing
冲浪 surfing
游泳 swimming
游泳池 swimming pool
游泳馆 natatorium
自由泳 freestyle; crawl (stroke)
蛙泳 breaststroke
侧泳 sidestroke
蝶泳 butterfly (stroke)
海豚式 dolphin stroke/kick
蹼泳 fin swimming
跳水 diving
跳台跳水 platform diving
跳板跳水 springboard diving
赛艇运动 rowing
滑艇/皮艇 canoeing
帆船运动 yachting; sailing
赛龙船 dragon-boat racing
室内运动 indoor sports
举重 weightlifting
重量级 heavyweight
中量级 middleweight
轻量级 lightweight
拳击 boxing
摔交 wresting
击剑 fencing
射击 shooting
靶场 shooting range
射箭 archery
拳术 quanshu; barehanded exercise; Chinese boxing
气功 qigong; breathing exercises
自行车运动 cycling; cycle racing
赛车场（自行车等的）倾斜赛车场 cycling track
室内自行车赛场 indoor velodrome
摩托运动 motorcycling
登山运动 mountaineering; mountain-climbing
骑术 horsemanship
赛马场 equestrian park
国际象棋 (international) chess
特级大师 grandmaster
象棋 xiangqi; Chinese chess
围棋 weiqi; go
航空模型 aeromodel; model aeroplane
航海模型 marine modelling; model ship
跳伞 parachuting
定点跳伞 accuracy jump; precision landing
无线电定向 radio direction finding
造型跳伞 relative work
滑翔运动 gliding; sailplaning
技巧 sports acrobatics
拔河 tug-of-war
毽子 shuttlecock
踢毽子 shuttlecock kicking
毽秋 jianqiu; shuttlecock playing

---