⑵禁止SSH远程：更改默认的远程连接SSH服务及禁止root远程连接。
⑶时间同步：定时自动更新服务器时间。
⑷配置yum更新源，从国内更新下载安装rpm包。
⑸关闭selinux及iptables（iptables工作场景如有wan ip，一般要打开，高并发除外）
⑹调整文件描述符数量，进程及文件的打开都会消耗文件描述符。
⑺定时自动清理/var/spool/clientmquene/目录垃圾文件，防止节点被占满（c6.4默认没有sendmail，因此可以不配。）
⑻精简开机启动服务（crond、sshd、network、rsyslog）
⑼Linux内核参数优化/etc/sysctl.conf，执行sysct -p生效。
更改字符集，支持中文，但是还是建议使用英文，防止乱码问题出现。
⑾锁定关键系统文件（chattr +i /etc/passwd /etc/shadow /etc/group /etc/gshadow /etc/inittab 处理以上内容后，把chatter改名，就更安全了。）
⑿清空/etc/issue，去除系统及内核版本登陆前的屏幕显示。
Sysctl命令及linux内核参数调整
一、Sysctl命令用来配置与显示在/proc/sys目录中的内核参数．如果想使参数长期保存，可以通过编辑/etc/sysctl.conf文件来实现。
命令格式：
sysctl [-n] [-e] -w variable=value
sysctl [-n] [-e] -p (default /etc/sysctl.conf)
sysctl [-n] [-e] –a
常用参数的意义：
-w 临时改变某个指定参数的值，如
# sysctl -w net.ipv4.ip_forward=1
-a 显示所有的系统参数
-p从指定的文件加载系统参数,默认从/etc/sysctl.conf 文件中加载，如：
# echo 1 >/proc/sys/net/ipv4/ip_forward
# sysctl -w net.ipv4.ip_forward=1
以上两种方法都可能立即开启路由功能，但如果系统重启，或执行了
# service network restart
命令，所设置的值即会丢失，如果想永久保留配置，可以修改/etc/sysctl.conf文件，将 net.ipv4.ip_forward=0改为net.ipv4.ip_forward=1
二、linux内核参数调整：linux 内核参数调整有两种方式
方法一：修改/proc下内核参数文件内容，不能使用编辑器来修改内核参数文件，理由是由于内核随时可能更改这些文件中的任意一个，另外，这些内核参数文件都是虚拟文件，实际中不存在，因此不能使用编辑器进行编辑，而是使用echo命令，然后从命令行将输出重定向至 /proc 下所选定的文件中。如：将 timeout_timewait 参数设置为30秒：
# echo 30 >/proc/sys/net/ipv4/tcp_fin_timeout
参数修改后立即生效，但是重启系统后，该参数又恢复成默认值。因此，想永久更改内核参数，需要修改/etc/sysctl.conf文件
方法二．修改/etc/sysctl.conf文件。检查sysctl.conf文件，如果已经包含需要修改的参数，则修改该参数的值，如果没有需要修改的参数，在sysctl.conf文件中添加参数。如：
net.ipv4.tcp_fin_timeout=30
保存退出后，可以重启机器使参数生效，如果想使参数马上生效，也可以执行如下命令：
# sysctl -p
三、sysctl.conf 文件中参数设置及说明
proc/sys/net/core/wmem_max
最大socket写buffer,可参考的优化值:873200
/proc/sys/net/core/rmem_max
最大socket读buffer,可参考的优化值:873200
/proc/sys/net/ipv4/tcp_wmem
TCP写buffer,可参考的优化值: 8192 436600 873200
/proc/sys/net/ipv4/tcp_rmem
TCP读buffer,可参考的优化值: 32768 436600 873200
/proc/sys/net/ipv4/tcp_mem
同样有3个值,意思是:
net.ipv4.tcp_mem[0]:低于此值,TCP没有内存压力.
net.ipv4.tcp_mem[1]:在此值下,进入内存压力阶段.
net.ipv4.tcp_mem[2]:高于此值,TCP拒绝分配socket.
上述内存单位是页,而不是字节.可参考的优化值是:786432 1048576 1572864
/proc/sys/net/core/netdev_max_backlog
进入包的最大设备队列.默认是300,对重负载服务器而言,该值太低,可调整到1000
/proc/sys/net/core/somaxconn
listen()的默认参数,挂起请求的最大数量.默认是128.对繁忙的服务器,增加该值有助于网络性能.可调整到256.
/proc/sys/net/core/optmem_max
socket buffer的最大初始化值,默认10K
/proc/sys/net/ipv4/tcp_max_syn_backlog
进入SYN包的最大请求队列.默认1024.对重负载服务器,可调整到2048
/proc/sys/net/ipv4/tcp_retries2
TCP失败重传次数,默认值15,意味着重传15次才彻底放弃.可减少到5,尽早释放内核资源.
/proc/sys/net/ipv4/tcp_keepalive_time
/proc/sys/net/ipv4/tcp_keepalive_intvl
/proc/sys/net/ipv4/tcp_keepalive_probes
这3个参数与TCP KeepAlive有关.默认值是:
tcp_keepalive_time = 7200 seconds (2 hours)
tcp_keepalive_probes = 9
tcp_keepalive_intvl = 75 seconds
意思是如果某个TCP连接在idle 2个小时后,内核才发起probe.如果probe 9次(每次75秒)不成功,内核才彻底放弃,认为该连接已失效.对服务器而言,显然上述值太大. 可调整到:
/proc/sys/net/ipv4/tcp_keepalive_time 1800
/proc/sys/net/ipv4/tcp_keepalive_intvl 30
/proc/sys/net/ipv4/tcp_keepalive_probes 3
/proc/sys/net/ipv4/ip_local_port_range
指定端口范围的一个配置,默认是32768 61000,已够大.
net.ipv4.tcp_syncookies = 1
表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；
net.ipv4.tcp_tw_reuse = 1
表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；
net.ipv4.tcp_tw_recycle = 1
表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。
net.ipv4.tcp_fin_timeout = 30
表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。
net.ipv4.tcp_keepalive_time = 1200
表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为20分钟。
net.ipv4.ip_local_port_range = 1024 65000
表示用于向外连接的端口范围。缺省情况下很小：32768到61000，改为1024到65000。
net.ipv4.tcp_max_syn_backlog = 8192
表示SYN队列的长度，默认为1024，加大队列长度为8192，可以容纳更多等待连接的网络连接数。
net.ipv4.tcp_max_tw_buckets = 5000
表示系统同时保持TIME_WAIT套接字的最大数量，如果超过这个数字，TIME_WAIT套接字将立刻被清除并打印警告信息。默认为 180000，改为 5000。对于Apache、Nginx等服务器，上几行的参数可以很好地减少TIME_WAIT套接字数量，但是对于Squid，效果却不大。此项参数可以控制TIME_WAIT套接字的最大数量，避免Squid服务器被大量的TIME_WAIT套接字拖死。
Linux上的NAT与iptables
谈起Linux上的NAT，大多数人会跟你提到iptables。原因是因为iptables是目前在linux上实现NAT的一个非常好的接口。它通过和内核级直接 *** 作网络包，效率和稳定性都非常高。这里简单列举一些NAT相关的iptables实例命令，可能对于大多数实现有多帮助。
这里说明一下，为了节省篇幅，这里把准备工作的命令略去了，仅仅列出核心步骤命令，所以如果你单单执行这些没有实现功能的话，很可能由于准备工作没有做好。如果你对整个命令细节感兴趣的话，可以直接访问我的《如何让你的Linux网关更强大》系列文章，其中对于各个脚本有详细的说明和描述。
# 案例1：实现网关的MASQUERADE
# 具体功能：内网网卡是eth1，外网eth0，使得内网指定本服务做网关可以访问外网
EXTERNAL="eth0"
INTERNAL="eth1"
# 这一步开启ip转发支持，这是NAT实现的前提
echo 1 >/proc/sys/net/ipv4/ip_forward
iptables -t nat -A POSTROUTING -o $EXTERNAL -j MASQUERADE
# 案例2：实现网关的简单端口映射
# 具体功能：实现外网通过访问网关的外部ip:80，可以直接达到访问私有网络内的一台主机192.168.1.10:80效果
LOCAL_EX_IP=11.22.33.44 #设定网关的外网卡ip，对于多ip情况，参考《如何让你的Linux网关更强大》系列文章
LOCAL_IN_IP=192.168.1.1 #设定网关的内网卡ip
INTERNAL="eth1" #设定内网卡
# 这一步开启ip转发支持，这是NAT实现的前提
echo 1 >/proc/sys/net/ipv4/ip_forward
# 加载需要的ip模块，下面两个是ftp相关的模块，如果有其他特殊需求，也需要加进来
modprobe ip_conntrack_ftp
modprobe ip_nat_ftp
# 这一步实现目标地址指向网关外部ip:80的访问都吧目标地址改成192.168.1.10:80
iptables -t nat -A PREROUTING -d $LOCAL_EX_IP -p tcp --dport 80 -j DNAT --to 192.168.1.10
# 这一步实现把目标地址指向192.168.1.10:80的数据包的源地址改成网关自己的本地ip，这里是192.168.1.1
iptables -t nat -A POSTROUTING -d 192.168.1.10 -p tcp --dport 80 -j SNAT --to $LOCAL_IN_IP
# 在FORWARD链上添加到192.168.1.10:80的允许，否则不能实现转发
iptables -A FORWARD -o $INTERNAL -d 192.168.1.10 -p tcp --dport 80 -j ACCEPT
# 通过上面重要的三句话之后，实现的效果是，通过网关的外网ip:80访问，全部转发到内网的192.168.1.10:80端口，实现典型的端口映射
# 特别注意，所有被转发过的数据都是源地址是网关内网ip的数据包，所以192.168.1.10上看到的所有访问都好像是网关发过来的一样，而看不到外部ip
# 一个重要的思想：数据包根据“从哪里来，回哪里去”的策略来走，所以不必担心回头数据的问题
# 现在还有一个问题，网关自己访问自己的外网ip:80，是不会被NAT到192.168.1.10的，这不是一个严重的问题，但让人很不爽，解决的方法如下：
iptables -t nat -A OUTPUT -d $LOCAL_EX_IP -p tcp --dport 80 -j DNAT --to 192.168.1.10
获取系统中的NAT信息和诊断错误
了解/proc目录的意义
在Linux系统中，/proc是一个特殊的目录，proc文件系统是一个伪文件系统，它只存在内存当中，而不占用外存空间。它包含当前系统的一些参数（variables）和状态（status）情况。它以文件系统的方式为访问系统内核数据的 *** 作提供接口
通过/proc可以了解到系统当前的一些重要信息，包括磁盘使用情况，内存使用状况，硬件信息，网络使用情况等等，很多系统监控工具（如HotSaNIC）都通过/proc目录获取系统数据。
另一方面通过直接 *** 作/proc中的参数可以实现系统内核参数的调节，比如是否允许ip转发，syn-cookie是否打开，tcp超时时间等。
获得参数的方式：
第一种：cat /proc/xxx/xxx，如 cat /proc/sys/net/ipv4/conf/all/rp_filter
第二种：sysctl http://xxx.xxx.xxx，如 sysctl net.ipv4.conf.all.rp_filter
改变参数的方式：
第一种：echo value >/proc/xxx/xxx，如 echo 1 >/proc/sys/net/ipv4/conf/all/rp_filter
第二种：sysctl [-w] variable=value，如 sysctl [-w] net.ipv4.conf.all.rp_filter=1
以上设定系统参数的方式只对当前系统有效，重起系统就没了，想要保存下来，需要写入/etc/sysctl.conf文件中
通过执行 man 5 proc可以获得一些关于proc目录的介绍
查看系统中的NAT情况
和NAT相关的系统变量
/proc/slabinfo：内核缓存使用情况统计信息（Kernel slab allocator statistics）
/proc/sys/net/ipv4/ip_conntrack_max：系统支持的最大ipv4连接数，默认65536（事实上这也是理论最大值）
/proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established 已建立的tcp连接的超时时间，默认432000，也就是5天
和NAT相关的状态值
/proc/net/ip_conntrack：当前的前被跟踪的连接状况，nat翻译表就在这里体现（对于一个网关为主要功能的Linux主机，里面大部分信息是NAT翻译表）
/proc/sys/net/ipv4/ip_local_port_range：本地开放端口范围，这个范围同样会间接限制NAT表规模
# 1. 查看当前系统支持的最大连接数
cat /proc/sys/net/ipv4/ip_conntrack_max
# 值：默认65536，同时这个值和你的内存大小有关，如果内存128M，这个值最大8192，1G以上内存这个值都是默认65536
# 影响：这个值决定了你作为NAT网关的工作能力上限，所有局域网内通过这台网关对外的连接都将占用一个连接，如果这个值太低，将会影响吞吐量
# 2. 查看tcp连接超时时间
cat /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established
# 值：默认432000（秒），也就是5天
# 影响：这个值过大将导致一些可能已经不用的连接常驻于内存中，占用大量链接资源，从而可能导致NAT ip_conntrack: table full的问题
# 建议：对于NAT负载相对本机的 NAT表大小很紧张的时候，可能需要考虑缩小这个值，以尽早清除连接，保证有可用的连接资源；如果不紧张，不必修改
# 3. 查看NAT表使用情况（判断NAT表资源是否紧张）
# 执行下面的命令可以查看你的网关中NAT表情况
cat /proc/net/ip_conntrack
# 4. 查看本地开放端口的范围
cat /proc/sys/net/ipv4/ip_local_port_range
# 返回两个值，最小值和最大值
# 下面的命令帮你明确一下NAT表的规模
wc -l /proc/net/ip_conntrack
#或者
grep ip_conntrack /proc/slabinfo | grep -v expect | awk '{print $1 ',' $2}'
# 下面的命令帮你明确可用的NAT表项，如果这个值比较大，那就说明NAT表资源不紧张
grep ip_conntrack /proc/slabinfo | grep -v expect | awk '{print $1 ',' $3}'
# 下面的命令帮你统计NAT表中占用端口最多的几个ip，很有可能这些家伙再做一些bt的事情，嗯bt的事情:-)
cat /proc/net/ip_conntrack | cut -d ' ' -f 10 | cut -d '=' -f 2 | sort | uniq -c | sort -nr | head -n 10
# 上面这个命令有点瑕疵cut -d' ' -f10会因为命令输出有些行缺项而造成统计偏差，下面给出一个正确的写法：
cat /proc/net/ip_conntrack | perl -pe s/^\(.*?\)src/src/g | cut -d ' ' -f1 | cut -d '=' -f2 | sort | uniq -c | sort -nr | head -n 10
https://kernel.0voice.com/
本文先介绍了cpu上下文切换的基础知识，以及上下文切换的类型（进程，线程等切换）。然后介绍了如何查看cpu切换次数的工具和指标的解释。同时对日常分析种cpu过高的情况下如何分析和定位的方法做了一定的介绍，使用一个简单的案例进行分析，先用top，pidstat等工具找出占用过高的进程id，然后通过分析到底是用户态cpu过高，还是内核态cpu过高，并用perf 定位到具体的调用函数。（来自极客时间课程学习笔记）
1、多任务竞争CPU，cpu变换任务的时候进行CPU上下文切换(context switch)。CPU执行任务有4种方式：进程、线程、或者硬件通过触发信号导致中断的调用。
2、当切换任务的时候，需要记录任务当前的状态和获取下一任务的信息和地址(指针)，这就是上下文的内容。因此，上下文是指某一时间点CPU寄存器(CPU register)和程序计数器(PC)的内容, 广义上还包括内存中进程的虚拟地址映射信息.
3、上下文切换的过程：
4、根据任务的执行形式，相应的下上文切换，有进程上下文切换、线程上下文切换、以及中断上下文切换三类。
5、进程和线程的区别：
进程是资源分配和执行的基本单位；线程是任务调度和运行的基本单位。线程没有资源，进程给指针提供虚拟内存、栈、变量等共享资源，而线程可以共享进程的资源。
6、进程上下文切换：是指从一个进程切换到另一个进程。
(1)进程运行态为内核运行态和进程运行态。内核空间态资源包括内核的堆栈、寄存器等；用户空间态资源包括虚拟内存、栈、变量、正文、数据等
(2)系统调用(软中断)在内核态完成的，需要进行2次CPU上下文切换(用户空间-->内核空间-->用户空间)，不涉及用户态资源，也不会切换进程。
(3)进程是由内核来管理和调度的，进程的切换只能发生在内核态。所以，进程的上下文不仅包括了用户空间的资源，也包括内核空间资源。
(4)进程的上下文切换过程：
(5)、下列将会触发进程上下文切换的场景：
7、线程上下文切换：
8、中断上下文切换
快速响应硬件的事件，中断处理会打断进程的正常调度和执行。同一CPU内，硬件中断优先级高于进程。切换过程类似于系统调用的时候，不涉及到用户运行态资源。但大量的中断上下文切换同样可能引发性能问题。
重点关注信息：
系统的就绪队列过长，也就是正在运行和等待 CPU 的进程数过多，导致了大量的上下文切换，而上下文切换又导致了系统 CPU 的占用率升高。
这个结果中有两列内容是我们的重点关注对象。一个是 cswch ，表示每秒自愿上下文切换（voluntary context switches）的次数，另一个则是 nvcswch ，表示每秒非自愿上下文切换（non voluntary context switches）的次数。
linux的中断使用情况可以从 /proc/interrupts 这个只读文件中读取。/proc 实际上是 Linux 的一个虚拟文件系统，用于内核空间与用户空间之间的通信。/proc/interrupts 就是这种通信机制的一部分，提供了一个只读的中断使用情况。
重调度中断（RES），这个中断类型表示，唤醒空闲状态的 CPU 来调度新的任务运行。这是多处理器系统（SMP）中，调度器用来分散任务到不同 CPU 的机制，通常也被称为处理器间中断（Inter-Processor Interrupts，IPI）。
这个数值其实取决于系统本身的 CPU 性能。如果系统的上下文切换次数比较稳定，那么从数百到一万以内，都应该算是正常的。但当上下文切换次数超过一万次，或者切换次数出现数量级的增长时，就很可能已经出现了性能问题。这时，需要根据上下文切换的类型，再做具体分析。
比方说：
首先通过uptime查看系统负载，然后使用mpstat结合pidstat来初步判断到底是cpu计算量大还是进程争抢过大或者是io过多，接着使用vmstat分析切换次数，以及切换类型，来进一步判断到底是io过多导致问题还是进程争抢激烈导致问题。
CPU 使用率相关的重要指标：
性能分析工具给出的都是间隔一段时间的平均 CPU 使用率，所以要注意间隔时间的设置，特别是用多个工具对比分析时，你一定要保证它们用的是相同的间隔时间。比如，对比一下 top 和 ps 这两个工具报告的 CPU 使用率，默认的结果很可能不一样，因为 top 默认使用 3 秒时间间隔，而 ps 使用的却是进程的整个生命周期。
top 和 ps 是最常用的性能分析工具：
这个输出结果中，第三行 %Cpu 就是系统的 CPU 使用率，top 默认显示的是所有 CPU 的平均值，这个时候你只需要按下数字 1 ，就可以切换到每个 CPU 的使用率了。继续往下看，空白行之后是进程的实时信息，每个进程都有一个 %CPU 列，表示进程的 CPU 使用率。它是用户态和内核态 CPU 使用率的总和，包括进程用户空间使用的 CPU、通过系统调用执行的内核空间 CPU 、以及在就绪队列等待运行的 CPU。在虚拟化环境中，它还包括了运行虚拟机占用的 CPU。
预先安装 stress 和 sysstat 包，如 apt install stress sysstat。
stress 是一个 Linux 系统压力测试工具，这里我们用作异常进程模拟平均负载升高的场景。而 sysstat 包含了常用的 Linux 性能工具，用来监控和分析系统的性能。我们的案例会用到这个包的两个命令 mpstat 和 pidstat。
下面的 pidstat 命令，就间隔 1 秒展示了进程的 5 组 CPU 使用率，
包括：
perf 是 Linux 2.6.31 以后内置的性能分析工具。它以性能事件采样为基础，不仅可以分析系统的各种事件和内核性能，还可以用来分析指定应用程序的性能问题。
第一种常见用法是 perf top，类似于 top，它能够实时显示占用 CPU 时钟最多的函数或者指令，因此可以用来查找热点函数，使用界面如下所示：
输出结果中，第一行包含三个数据，分别是采样数（Samples）如2K、事件类型（event）如cpu-clock:pppH和事件总数量（Event count）如：371909314。
第二种常见用法，也就是 perf record 和 perf report。 perf top 虽然实时展示了系统的性能信息，但它的缺点是并不保存数据，也就无法用于离线或者后续的分析。而 perf record 则提供了保存数据的功能，保存后的数据，需要你用 perf report 解析展示。
1.启动docker 运行进程：
2.ab工具测试服务器性能
ab（apache bench）是一个常用的 HTTP 服务性能测试工具，这里用来模拟 Ngnix 的客户端。
3.分析过程
CPU 使用率是最直观和最常用的系统性能指标，在排查性能问题时，通常会关注的第一个指标。所以更要熟悉它的含义，尤其要弄清楚:
这几种不同 CPU 的使用率。比如说：
碰到 CPU 使用率升高的问题，你可以借助 top、pidstat 等工具，确认引发 CPU 性能问题的来源；再使用 perf 等工具，排查出引起性能问题的具体函数.
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）