linux运维和数据分析那个好？_系统运维

建议在Linux运维行业继续深造，Linux运维很容易达到20K+，不知道你目前的薪资是什么情况。IT行业还是靠能力。尤其有大厂的工作经历，提升一下能力，很容易实现的。Linux运维很有很多的岗位及发展方向。

1） Linux运维岗位及工作内容

互联网Linux运维工程师是一个融合多学科(网络、系统、开发、数据库、安全、存储等)的综合性技术岗位，甚至还需要沟通、为人处世、培训、销售、管理等非技术能力，这给运维工程师提供了一个广阔的发展空间。

2) Linux运维工程师岗位职责

一般从企业入门到中级Linux运维工程师的工作大致有：挑选IDC机房及带宽、购买物理服务器或云服务、购买及使用CDN服务、搭建部署程序开发及用户的访问系统环境(例如:网站运行环境)、对数据进行备份及恢复、处理网站运行中的各种故障（例如：硬件故障、软件故障、服务故障、数据损坏及丢失等）、对网站的故障进行监控、解决网站运行的潜在安全问题、开发自动化脚本程序提高工作效率、规划网站架构、程序发布流程和规范，制定运维工作制度和规范、配合开发人员部署及调试产品研发需要的测试环境、代码发布等工作需求，公司如果较小可能还会兼职网管、网络工程师、数据库管理员、安全工程师、技术支持等职责。

涉及到的Linux平台上的运维工具有：Linux系统,Linux基础命令,Nginx,Apache,MySQL,PHP,Tomcat,Lvs,Keepalived,SSH,Ansible,Rsync,NFS,Inotify,Sersync,Drbd,PPTP,OpenVPN,NTP,Kickstart/Cobbler,KVM,OpenStack,Docker,，K8S，Mongodb,Redis,Memcached,Iptables,SVN,GIT,Jenkins,网络基础,Shell/Python开发基础等，除此之外还可能涉及到交换机、路由器、存储、安全、开发等知识。

运维工程师还包括一些低端的岗位，例：网络管理员、监控运维、IDC运维，值班运维

职业发展方向：Linux运维工程师、系统架构师、数据库工程师、运维开发工程师、系统网络安全工程师、运维经理、运维总监

3) Linux中级运维工程师应用软件阶段。

Linux系统,Linux基础命令,Nginx,Apache,MySQL,PHP,Tomcat,Lvs,Keepalived,SSH,Ansible,Rsync,NFS,Inotify,Sersync,Drbd,PPTP,OpenVPN,NTP,Kickstart/Cobbler,KVM,OpenStack,Docker,Mongodb,Redis,Memcached,Iptables,SVN,GIT,Jenkins,网络基础,Shell/Python开发基础

4)Linux运维架构师岗位职责

运维架构师是运维工程师的高级阶段，并没有明确的岗位界限区分，运维架构师一般来说是除了对运维工程师应用的开源工具熟练掌握之外，更多的是用思想来运维了，即DevOps的落地，各种企业运行过程中的解决方案提出和执行，例如：根据公司的现状可以设计各类运维解决方案的能力：

1、自动化代码上线（SVN/GIT+Jenkins+MVN）解决方案；

2、云计算部署架构及Docker微服务架构方案；

3、服务自动化扩容方案（KVM/OpenStack/Docker+Ansible+Zabbix）；

4、10万并发的网站架构、秒杀系统的架构及解决发你个案；

5、多IDC机房互联方案、全网数据备份解决方案、账号统一认证方案；

6、数据库、存储及各重要服务节点的集群和高可用方案。

7、各网络服务的极端优化方案、服务解耦/拆分。

8、运维流程、制度、规范等的建设和推行。

9、沟通能力、培训能力、项目管理、业务需求分析及落地执行力等。

这里仅举几个例子，实际工作中会有更多，运维架构师的工作，其实就是解决企业中的用户访问量不断增大带来的痛点，最终达到高效、优质的为客户提供网站及业务服务。

总的来说：Linux运维架构师更多的是根据企业日益增长的访问量需求，利用若干运维工具组合加上经验思想，形成解决业务需求方案的阶段，当然也不排除对运维工具进行二次开发以及可视化展示运维数据的阶段（开发软件平台），这个阶段涉及的工具会非常多，几乎市面好用的开源工具都在备选之列，在一线城市互联网公司的薪资范围15000-50000/月。

职业方向：高级数据库工程师、运维开发工程师、运维经理、运维总监、技术总监

运维架构师：将多个工具组合，加上思想经验，形成方案，用思想和经验赚钱的阶段。

技术的提升仅是量的积累，思想的提升才是质的飞跃！——老男孩

5)数据库运维工程师

众所周知，数据几乎是所有企业的生命线，所以数据库工程师的地位和薪水一般会比普通运维工程师高一些，主要工作内容就是保证数据库数据的安全以及高效地为用户提供各种服务。

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在对数据分析并生成报告时，显得尤为强大。

简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk有三个不同的版本：awk、nawk和gawk，未作特别说明，一般指gawk，gawk是awk的GNU版本。

之所以叫awk是因为其取了三位创始人Alfred Aho,Peter Weinberger,和Brian Kernighan的Family Name的首字符。

awk格式：

格式: sed -n '3p' sed.txt

找谁干啥(条件动作)

awk格式

#取出/etc/passwd 第1行的第1列和第3列

awk -F: 'NR==1{print $1.$3}' /etc/passwd

awk 选项 '条件{动作}' /etc/passwd

条件: 哪一行,过滤什么内容

动作: print输出与显示 ,计算....

awk取行：与sed类似

案例01：取出sed.txt的第2行

[root@oldboy81-golden-lnb /oldboy]# cat sed.txt

101.oldgirl,CEO

102.zhangya,CTO

103.lidao007.COO

104.yy,CFO

105.feixue,CIO

110.lidao,COCO

[root@oldboy81-golden-lnb /oldboy]# awk 'NR==2' sed.txt

102.zhangya,CTO

#awk '行号等于 2' sed.txt

#NR awk内置变量

Number of Record 记录号(行号)

案例02：取出sed.txt中包含oldboy或lidao的行

[root@oldboy81-golden-lnb /oldboy]# sed -rn '/oldboy|lidao/p' sed.txt

103.lidao007.COO

110.lidao,COCO

[root@oldboy81-golden-lnb /oldboy]# awk '/oldboy|lidao/' sed.txt

103.lidao007.COO

110.lidao,COCO

案例03：取出文件第2行到第5行内容

#awk '行号大于等于2 并且行号小于等于5' sed.txt

#方法01

awk 'NR>=2 &&NR<=5' sed.txt #必会

&&表示并且.

#方法02

sed -n '2.5p' sed.txt

#方法03 了解

awk 'NR==2.NR==5' sed.txt #从行号是2的行开始到行号是5的行结束( 了解)

案例04：取出文件第3行到最后一行内容

[root@oldboy81-golden-lnb /oldboy]# awk 'NR >= 3' sed.txt

103.lidao007.COO

104.yy,CFO

105.feixue,CIO

110.lidao,COCO

[root@oldboy81-golden-lnb /oldboy]# sed -n '3.$p' sed.txt

103.lidao007.COO

104.yy,CFO

105.feixue,CIO

110.lidao,COCO

案例05：取出从包含oldboy的行到lidao的行

[root@oldboy81-golden-lnb /oldboy]# cat sed.txt

101.oldgirl,CEO

102.zhangya,CTO

103.lidao007.COO

104.yy,CFO

105.feixue,CIO

110.lidao,COCO

root@oldboy81-golden-lnb /oldboy]# sed -n '/old/,/lidao/p' sed.txt

101.oldgirl,CEO

102.zhangya,CTO

103.lidao007.COO

[root@oldboy81-golden-lnb /oldboy]# awk '/old/ , /lidao/' sed.txt

101.oldgirl,CEO

102.zhangya,CTO

103.lidao007.COO

用Nmon监控Linux系统性能的方法请参见下面介绍（配图）：

1、安装Nmon

2、一旦安装完成，则可以通过在终端执行 nmon 命令启动它。

Nmon命令执行之后，大家可以看到如下输出：

3、从上图中大家可以看到，Nmon 命令行工具是一个用户交互的应用程序，大家可以非常方便地使用键盘快捷键来查看相关统计信息。

q : 停止并退出Nmon

h : 查看帮助信息

c : 查看 CPU 统计信息

m : 查看内存统计信息

d : 查看磁盘统计信息

k : 查看内核统计信息

n : 查看网络统计信息

N : 查看 NFS 统计信息

j : 查看文件系统统计信息

t : 查看 Top 进程统计信息

V : 查看虚拟内存统计信息

v : 详细输出模式

4、查看 CPU 统计信息

如果你想查看 CPU 性能信息，可以直接按 c 键：

5、查看 Top 进程统计信息

如果你想查看 Top 进程统计信息，可以直接按 t 键：

6、查看网络统计信息

如果你想查看网络统计信息，可以直接按 n 键：

7、磁盘I/O图

使用 d 键可以查看磁盘统计信息：

8、查看内核统计信息

如果你想查看内核统计信息，可以直接按 k 键：

9、获取系统信息

如果要查看 Linux 的系统信息，如：系统架构、 *** 作系统版本、Linux 版本则可以使用 r 键，这对系统管理员非常有用。

以上是基础使用方法。下面再补充一些命令和方法：

1、启动

打开nmon所在的目录：cd /usr/local/nmon

修改启动文件的访问权限：chmod 755 nmon_x86_rhel52

启动nmon：./nmon_x86_rhel52

如果要采样nmon的数据保存成文件，可以

./nmon_x86_rhel52 -fT -s 30 -c 120

其中30表示每隔30秒nmon取一次系统性能数据，120表示取120次；

这样nmon将会在运行开始算起连续取得30sX120=60分钟，可根据实际需要时间调整；当运行以上命令后该目录下会生成一个.nmon文件，该文件会根据间隔时间被写入性能数据，当一段时间后再查看该文件，文件字节变大

利用nmonanalyser分析.nmon文件

当测试结束的同时ftp到服务器上将.nmon文件get下来，

打开nmon_analyser.zip 包下的nmon analyser v338.xls 文件，点击Analyse nomn data按钮，选择之前get来下的.nmon文件。

（如果报告以下宏的安全级别太高错误，则在“工具 -- 宏 --安全性”里把级别调低，然后重新打开 nmon analyser v338.xls 文件）

待分析结束后会生成性能分析结果文件（文件格式为.xls，其中包括CPU,IO,内存等性能分析报告）。

分析结果中有很多数据和图形，简要介绍主要的性能参数图像

4.1 系统汇总（对应excel标签的‘SYS_SUMM’）

蓝线为cpu占有率变化情况；

粉线为磁盘IO的变化情况；

4.2磁盘读写情况汇总（对应excel标签的‘DISK_SUMM’）

蓝色为磁盘读的速率KB/sec

紫色为磁盘写的速率KB/sec

4.3内存情况汇总（对应excel标签的‘MEM’）

曲线表示内存剩余量（MB）

分析数据得到的报告文件（.xls）中包含很多性能分析结果数据，根据自己的需要查看。

2、nmon运行本身就消耗系统资源的；

另外如果取到.nmon文件后确定不再需要nmon继续收集信息则应kill掉nmon；

命令：

ps -A | grep nmon #得到pid

kill -9 pid

suse10 enterprise sp2:

nmon_x86_rhel3

使用对应的 *** 作系统文件：

chmod +x nmon_x86_ubuntu810

mv nmon_x86_ubuntu810 /usr/local/bin/nmon

对于 Debian 还要做以下 *** 作（不做也同样能运行）：

apt-get install lsb-release

lsb_release -d | sed 's/Description:\t//' >/etc/debian_release

然后直接运行 nmon 即可。

采集数据并生成报表：

采集数据:

nmon -s10 -c60 -f -m /home/

参数解释：

-s10 每 10 秒采集一次数据。

-c60 采集 60 次，即为采集十分钟的数据。

-f 生成的数据文件名中包含文件创建的时间。

-m 生成的数据文件的存放目录。

这样就会生成一个 nmon 文件，并每十秒更新一次，直到十分钟后。

生成的文件名如： hostname_090824_1306.nmon ，"hostname" 是这台主机的主机名。

生成报表：

下载 nmon analyser （生成性能报告的免费工具）：

http://www.ibm.com/developerworks/wikis/display/Wikiptype/nmonanalyser

把之前生成的 nmon 数据文件传到 Windows 机器上，用 Excel 打开分析工具 nmon analyser v33C.xls 。点击 Excel 文件中的 "Analyze nmon data" 按钮，选择 nmon 数据文件，这样就会生成一个分析后的结果文件： hostname_090824_1306.nmon.xls ，用 Excel 打开生成的文件就可以看到结果了。

如果宏不能运行，需要做以下 *** 作：

工具 ->宏 ->安全性 ->中，然后再打开文件并允许运行宏。

自动按天采集数据：

在 crontab 中增加一条记录：

0 0 * * * root nmon -s300 -c288 -f -m /home/ >/dev/null 2>&1

300*288=86400 秒，正好是一天的数据。

采样文件越来越大：

jackxiang@172.25.39.***:~/nmon# ./nmon -s1 -c33 -f

jackxiang@172.25.39.***:~/nmon#