Linux网络异常排查思路与方法_系统运维

处理问题时必定不能盲狙，将所有解决办法都试上一遍。这生产环境中，解决出现的问题是最优先的事情，当然前提是这问题会影响用户的使用或即将影响到的。

处理每个问题必然可按具体问题进行分类，根据每一类按对应的解决思路来执行。

但像处理一个网络问题的时候，上至系统防火墙的配置、下至硬件故障。如果处理一个问题都按固定流程来进行的话，那必然效率将非常低下。下为处理网络故障的一般流程。

1、网络硬件问题检查。（机率较低）

2、检查网卡能否正常工作。（较高、主要表现为人为配置错误）

3、检查局域网之间联机是否正常。（非常高）

4、检查DNS是否设定正确。（较低）

5、服务是否正常打开。（低）

6、检查访问权限是否打开。（较高）

假如从1至6是标准的处理网络问题的流程，这样的处理方式效率低下。处理问题可以有整体的流程，但是实际 *** 作中可先对出现机率更高的步骤进行检查、或采取2分法缩小产生问题的范围，虽然上述较的两个方法不一定对所有问题都试用，但对于大多数的网络问题来说处理效率有者显著的提升。

个人总结的情况如下。

1、lsmod | grep ip 查看相关的网卡模块是否已加载

2、ifconfig -a 能使用该命令查找到对应网卡配置信息，则说明网卡驱动程序正常

3、使用ping命令、依次ping自己、ping局域网主机、ping网关

ping自己异常，问题：服务异常、网卡配置未生效

ping局域网主机异常，问题：配置文件有误、网卡配置未生效、网线损坏

ping网关异常，问题：配置文件有误、网卡配置未生效

4、当前3步还不能正常上外网的话。所有route查看默认路由表。

处理方法：删除不必要的路由信息，并保证默认路由是从对应网关地址出去的。

5、临时停止iptables服务、SELinux服务、NetworkManager服务

6、如能上网但访问域名有异常时，那将需要检查/etc/hosts、/etc/resolv.conf两个配置

7、假如以上6步检查完毕之后，还发现不能上网。有如下可能。

7.1、主机MAC地址被路由器禁止上网

7.2、外网服务异常。如宽带账号欠费、光纤被挖断等物理攻击。

下列贴士帮助你更快速更轻松地为 Linux 中的硬件排查故障。许多不同的因素可能导致Linux硬件出现问题；在你开始尝试诊断之前，了解最常见的问题以及最有可能找到原因的环节是明智之举。

Linux服务器在许多不同类型的基础架构中运行关键任务型业务应用程序，包括物理机、虚拟机、私有云、公共云和混合云。对于 Linux系统管理员来说，了解如何管理Linux硬件基础架构很重要，包括与网络和存储有关的软件定义功能、Linux容器和Linux服务器上的多个工具。

排查并解决Linux上与硬件有关的问题可能需要一些时间。连经验丰富的系统管理员有时也要花几小时来解决莫名其妙的软硬件问题。

下列贴士帮助你更快速更轻松地为Linux中的硬件排查故障。许多不同的因素可能导致Linux硬件出现问题在你开始尝试诊断之前，了解最常见的问题以及最有可能找到原因的环节是明智之举。

1.快速诊断设备、模块和驱动程序

故障排查的第一步通常是显示Linux服务器上安装的硬件列表。你可以使用ls命令获取硬件的详细信息，比如lspci、lsblk、lscpu和lsscsi。比如说，这是lsblk命令的输出结果：

# lsblk

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT

xvda 202:0 0 50G 0 disk

├─xvda1 202:1 0 1M 0 part

└─xvda2 202:2 0 50G 0 part /

xvdb 202:16 0 20G 0 disk

└─xvdb1 202:17 0 20G 0 part

如果ls命令没有显示任何错误，使用初始化进程(比如systemd)查看Linux服务器的运行状况。systemd是启动用户空间、控制多个系统进程的最流行的初始化进程。比如说，这是systemctl status命令的输出结果：

# systemctl status

● bastion.f347.internal

State: running

Jobs: 0 queued

Failed: 0 units

Since: Wed 2018-11-28 01:29:05 UTC 2 days ago

CGroup: /

├─1 /usr/lib/systemd/systemd --switched-root --system --deserialize 21

├─kubepods.slice

│ ├─kubepods-pod3881728a_f2af_11e8_af77_06af52f87498.slice

│ │ ├─docker-88b27385f4bae77bba834fbd60a61d19026bae13d18eb147783ae27819c34967.scope

│ │ │ └─23860 /opt/bridge/bin/bridge --public-dir=/opt/bridge/static --config=/var/console-config/console-c

│ │ └─docker-a4433f0d523c7e5bc772ee4db1861e4fa56c4e63a2d48f6bc831458c2ce9fd2d.scope

│ │ └─23639 /usr/bin/pod

2.深入研究多个日志

dmesg让你可以搞清楚内核的最新信息中的错误和警示内容。比如说，这是dmesg | more命令的输出结果：

# dmesg | more

....

[ 1539.027419] IPv6: ADDRCONF(NETDEV_UP): eth0: link is not ready

[ 1539.042726] IPv6: ADDRCONF(NETDEV_UP): veth61f37018: link is not ready

[ 1539.048706] IPv6: ADDRCONF(NETDEV_CHANGE): veth61f37018: link becomes ready

[ 1539.055034] IPv6: ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready

[ 1539.098550] device veth61f37018 entered promiscuous mode

[ 1541.450207] device veth61f37018 left promiscuous mode

[ 1542.493266] SELinux: mount invalid. Same superblock, different security settings for (dev mqueue, type mqueue)

[ 9965.292788] SELinux: mount invalid. Same superblock, different security settings for (dev mqueue, type mqueue)

[ 9965.449401] IPv6: ADDRCONF(NETDEV_UP): eth0: link is not ready

[ 9965.462738] IPv6: ADDRCONF(NETDEV_UP): vetheacc333c: link is not ready

[ 9965.468942] IPv6: ADDRCONF(NETDEV_CHANGE): vetheacc333c: link becomes ready

....

你还可以查看/var/log/messages文件中的所有Linux系统日志，在这里找到与特定问题有关的错误。如果你对硬件进行改动，比如挂载额外磁盘或添加以太网网卡，有必要通过tail命令实时密切关注信息。比如说，这是tail -f /var/log/messages命令的输出结果：

# tail -f /var/log/messages

Dec 1 13:20:33 bastion dnsmasq[30201]: using nameserver 127.0.0.1#53 for domain in-addr.arpa

Dec 1 13:20:33 bastion dnsmasq[30201]: using nameserver 127.0.0.1#53 for domain cluster.local

Dec 1 13:21:03 bastion dnsmasq[30201]: setting upstream servers from DBus

Dec 1 13:21:03 bastion dnsmasq[30201]: using nameserver 192.199.0.2#53

Dec 1 13:21:03 bastion dnsmasq[30201]: using nameserver 127.0.0.1#53 for domain in-addr.arpa

Dec 1 13:21:03 bastion dnsmasq[30201]: using nameserver 127.0.0.1#53 for domain cluster.local

Dec 1 13:21:33 bastion dnsmasq[30201]: setting upstream servers from DBus

Dec 1 13:21:33 bastion dnsmasq[30201]: using nameserver 192.199.0.2#53

Dec 1 13:21:33 bastion dnsmasq[30201]: using nameserver 127.0.0.1#53 for domain in-addr.arpa

Dec 1 13:21:33 bastion dnsmasq[30201]: using nameserver 127.0.0.1#53 for domain cluster.local

3.分析网络功能

你可能在复杂的网络环境中有成千上万个云原生应用程序为业务服务提供服务这些可能包括虚拟化、多云和混合云。这意味着你应该分析网络连接是否正常运行，这是故障排查的一部分。分析Linux服务器中网络功能的实用命令包括ip addr、traceroute、nslookup、dig和ping等。比如说，这是ip addr show命令的输出结果：

# ip addr show

lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo