Linux之awk详解

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在对数据分析并生成报告时，显得尤为强大。

简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk有三个不同的版本：awk、nawk和gawk，未作特别说明，一般指gawk，gawk是awk的GNU版本。

之所以叫awk是因为其取了三位创始人Alfred Aho,Peter Weinberger,和Brian Kernighan的Family Name的首字符。

awk格式：

格式: sed -n '3p' sed.txt

找谁干啥(条件动作)

awk格式

#取出/etc/passwd 第1行的第1列和第3列

awk -F: 'NR==1{print $1.$3}' /etc/passwd

awk 选项 '条件{动作}' /etc/passwd

条件: 哪一行,过滤什么内容

动作: print输出与显示 ,计算....

awk取行：与sed类似

案例01：取出sed.txt的第2行

[root@oldboy81-golden-lnb /oldboy]# cat sed.txt

101.oldgirl,CEO

102.zhangya,CTO

103.lidao007.COO

104.yy,CFO

105.feixue,CIO

110.lidao,COCO

[root@oldboy81-golden-lnb /oldboy]# awk 'NR==2' sed.txt

102.zhangya,CTO

#awk '行号 等于 2' sed.txt

#NR awk内置变量

Number of Record 记录号(行号)

案例02：取出sed.txt中包含oldboy或lidao的行

[root@oldboy81-golden-lnb /oldboy]# sed -rn '/oldboy|lidao/p' sed.txt

103.lidao007.COO

110.lidao,COCO

[root@oldboy81-golden-lnb /oldboy]# awk '/oldboy|lidao/' sed.txt

103.lidao007.COO

110.lidao,COCO

案例03：取出文件第2行到第5行内容

#awk '行号大于等于2 并且 行号小于等于5' sed.txt

#方法01

awk 'NR>=2 &&NR<=5' sed.txt #必会

&&表示并且.

#方法02

sed -n '2.5p' sed.txt

#方法03 了解

awk 'NR==2.NR==5' sed.txt #从行号是2的行开始 到 行号是5的行结束( 了解)

案例04：取出文件第3行到最后一行内容

[root@oldboy81-golden-lnb /oldboy]# awk 'NR >= 3' sed.txt

103.lidao007.COO

104.yy,CFO

105.feixue,CIO

110.lidao,COCO

[root@oldboy81-golden-lnb /oldboy]# sed -n '3.$p' sed.txt

103.lidao007.COO

104.yy,CFO

105.feixue,CIO

110.lidao,COCO

案例05：取出从包含oldboy的行到lidao的行

[root@oldboy81-golden-lnb /oldboy]# cat sed.txt

101.oldgirl,CEO

102.zhangya,CTO

103.lidao007.COO

104.yy,CFO

105.feixue,CIO

110.lidao,COCO

root@oldboy81-golden-lnb /oldboy]# sed -n '/old/,/lidao/p' sed.txt

101.oldgirl,CEO

102.zhangya,CTO

103.lidao007.COO

[root@oldboy81-golden-lnb /oldboy]# awk '/old/ , /lidao/' sed.txt

101.oldgirl,CEO

102.zhangya,CTO

103.lidao007.COO

用shell命令删除目录下文件，但是排除某些特殊文件，第一时间无脑从谷歌获取。

丢到脚本执行发现，并没有删除，原来rm后面命令返回结果有问题，必须事当前目录才行，脚本脱离当前目录就懵逼。那想办法改吧。

既然【 ls *.txt | grep -v test.txt 】返回的的是文件名称，那拼上目录就完事了。

使用awk拼接目录和文件：

由于【ls -l 】返回的第一行【total 272】需过滤：

过滤第一行统计信息：

awk内置了一些变量可以拼接，还有常量也可以拼接，此处不表，重点提及awk作用域外的变量引用，有一下三种方式：

格式如：awk ‘{action}’ 变量名=变量值 ，这样传入变量，可以在action中获得值。 注意：变量名与值放到’{action}’后面。

这种变量在：BEGIN的action不能获得。

格式如：awk –v 变量名=变量值 [–v 变量2=值2 …] 'BEGIN{action}’ 注意：用-v 传入变量可以在3中类型的action 中都可以获得到，但顺序在 action前面。

只需要调用：awk内置变量 ENVIRON,就可以直接获得环境变量。它是一个字典数组。环境变量名 就是它的键值。

---