Linux sed 命令详解

sed命令行格式：sed [options] 'command' file(s)

options常用选项：

-n或--quiet或——silent：仅显示script处理后的结果

-e：以选项中的指定的script来处理输入的文本文件

-f：以选项中指定的script文件来处理输入的文本文件

-r∶sed 的动作支援的是延伸型正规表示法的语法

-i∶直接修改读取的档案内容，而不是由萤幕输出

-h或--help：显示帮助

-V或--version：显示版本信息。

Command常用命令：

a：新增，a 的后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)

c：取代，c 的后面可以接字符串，这些字符串可以取代 n1,n2 之间的行

d：删除，d 后面通常不接任何字符串

i：插入，i 的后面可以接字符串，而这些字符串会在新的一行出现(目前的上一行)

p：列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作

s：取代，可以直接进行取代的工作，通常与正规表达式搭配使用。

实例说明：

新增 *** 作：a命令

sed '/^bird/a\test' file将test追加到 以bird开头的行后面

删除 *** 作：d命令

sed '/^$/d' file #删除空白行

sed '2d' file #删除第二行

sed '2,$d' file #删除第2行到最后一行

sed '$d' file #删除最后一行

sed '/^bird/'d file #删除所有开头是bird的行

插入 *** 作：i命令

sed -i '3i\bird ' bird.conf #在bird.conf文件第3行之前插入bird

替换文本中的字符串：s命令

sed 's/bird/birds/' file #将文本中的bird替换成birds

sed -i 's/ bird / birds /g' file #将file文件中每一行的第一个bird替换为birds

find 命令的基本结构如下：

find 命令手册 ： man find

find 命令中的 -name 选项可以根据文件名称进行检索（ 区分大小写 ）。如需要忽略文件名中的大小写，可以使用 -iname 选项。

-name 和 -iname 两个选项都支持 wildcards 。如：

例1：查找 /usr 目录下所有文件名以 .txt 结尾的文件

例2：查找 /usr 目录下所有文件名刚好为 4 个字符的文件

例3：查以大写字母开头的文件

例4：查以两个小写字母和两个数字开头的txt文件

类似的还有：

-lname -ilname

-path -ipath

-regx -iregx

有些时候，你需要在搜索时匹配某个文件或目录的 完整路径 ，而不仅仅是匹配文件名。可以使用 -path 或 -ipath 选项。

例1：如查找 /usr 下所有文件名以 .txt 结尾的文件或目录，且该文件的父目录必须是 src 。可以使用以下命令：

例2：在当前目录除aa之外的子目录内搜索 txt文件

例3：在当前目录，不再子目录中，查找txt文件

如果只想搜索得到文件 或 目录，即不想它们同时出现在结果中。可以使用 -type 选项指定文件类型。

-type 选项最常用的参数如下：

例：检索 /usr 下所有文件名以 python 开头的目录

find 命令支持 -empty 选项用来检索 为空 的文件或目录。空文件即文件里没有任何内容，空目录即目录中没有任何文件或子目录。

例：检索用户主目录下所有的空目录

find 命令也允许用户对当前的匹配条件进行 “反义” （类似于 逻辑非 *** 作）。

如需要检索 /usr 下所有文件名 不 以 .txt 为后缀的文件。可以使用以下命令：

也可以“翻转”任何其他的筛选条件，如：检索 /usr 下所有内容不为空的文件

为了检索归属于特定用户的文件或目录，可以使用 -user 选项。

例：检索根目录下所有属主为 starky 的文件

类似于 -user 选项， -group 选项则可以根据文件或目录的 属组 进行检索。

有些时候，需要根据文件创建或修改的时间进行检索。

Linux 系统中，与文件相关联的时间参数有以下三种：

与此对应的是 find 命令中的 -mtime ， -atime 和 -ctime 三个选项。

这三个选项的使用遵循以下示例中的规则：

检索 /usr 下两天前被修改过的文件

如果觉得 -mtime 等选项以 天 为单位时间有点长，还可以使用 -mmin ， -amin ， -cmin 三个选项。

查找比 aa.txt 新 的文件

查找比 aa.txt 旧 的文件

查找比aa.txt新，比bb.txt旧的文件

-size 选项允许用户通过文件大小进行搜索（只适用于文件，目录没有大小……）。

表示文件大小的单位由以下字符组成：

另外，还可以使用 + 或 - 符号表示 大于 或 小于 当前条件。

检索文件大小高于 1 GB 的文件

find 命令可以使用 -perm 选项以文件权限为依据进行搜索。

9.1使用符号形式

例1：如需要检索 /usr 目录下权限为 rwxr-xr-x 的文件，可以使用以下命令：

例2：搜索 /usr 目录下所有权限为 r-xr-xr-x （即系统中的所有用户都只有读写权限）的文件和目录，可以使用以下命令：

很多时候，我们只想匹配文件权限的一个 子集 。比如，检索可以直接被任何用户执行的文件，即只关心文件的执行权限，而不用管其读写权限是什么。

上述的需求可以通过以下命令实现：

其中 a=x 前面的 / 符号即用来表示只匹配权限的某个子集（执行权限），而不用关心其他权限的具体设置。

9.2使用数字形式

例如：搜索 /usr 目录下权限为 644 （即 rwxr-xr-x ）的文件

find 命令默认是以 递归 的方式检索项目的，这有时候会导致得到的结果数量非常巨大。可以使用 -maxdepth 限制 find 命令递归的层数。

例如：搜索时向下递归的层数最大为 3

在之前的例子中有出现多个搜索条件的 组合 以及对某个搜索条件的 反转 。

实际上 find 命令支持 “and” 和 “or” 两种逻辑运算，对应的命令选项分别是 -a 和 -o 。通过这两个选项可以对搜索条件进行更复杂的组合。

此外还可以使用 小括号 对搜索条件进行 分组 。注意 find 命令中的小括号常需要用 单引号 包裹起来。因小括号在 Shell 中有特殊的含义。

如检索 /usr 下文件名以 python 开头且类型为目录的文件

该命令等同于：

更复杂的组合形式如：

例4：在除dir0及子目录以外的目录下查找txt后缀文件

说明：-a 应该是and的缩写，意思是逻辑运算符‘与’(&&)-o应该是or的缩写,意思是逻辑运算符‘或’(||), -not 表示非.

命令行的意思是：如果目录dir0存在（即-a左边为真），则求-prune的值，-prune 返回真，‘与’逻辑表达式为真（即-path './dir0*' -a -prune 为真），find命令将在除这个目录以外的目录下查找txt后缀文件并打印出来；如果目录dir0不存在（即-a左边为假），则不求值-prune ，‘与’逻辑表达式为假，则在当前目录下查找所有txt后缀文件。

-delete 选项可以用来删除搜索到的文件和目录。

例如：删除 home 目录下所有的空目录：

-exec 选项可以对搜索到的结果执行执行该参数所给出的shell命令。形式为 command {} \，注意{}与\之间有空格 。每当 find 命令检索到一个符合条件的文件，会使用其完整路径取代命令中的 {} ，然后执行 -exec 后面的命令一次。

例1：如需要将 home 目录下所有的 MP3 音频文件复制到移动存储设备（假设路径是 /media/MyDrive ），可使用下面的命令：

其中的 大括号 （ {} ）作为检索到的文件的 占位符 ，而分号（ ）作为命令结束的标志。因为分号是 Shell 中有特殊含义的符号，所以需要使用单引号括起来或前面加上转义符 \ 。

例2：查看当前目录下的所有普通文件，并在 - exec 选项中使用 ls -l 命令将它们列出

例3：在多个文件中检索某个指定的字符串。如在用户主目录下的所有文件中检索字符串 hello ，可以使用如下命令：

创建 Gzip 格式的压缩文件的命令为：

现在假设需要将用户主目录下所有的 MP3 文件添加到压缩包 music.tar.gz 中，直观的感觉是，其命令应为如下形式：

实际情况是，这样得到的 music.tar.gz 其实只包含一个 MP3 文件。原因是 find 命令 每次 发现一个音频文件，都会再执行一次 -exec 选项后面的压缩命令。导致先前生成的压缩包被覆盖。

可以先让 find 命令检索出所有符合条件的音频文件，再将得到的 文件列表 传递给后面的压缩命令。完整的命令如下：

如果想浏览搜索到的文件（目录）的详细信息（如权限和大小等），可以直接使用 -ls 选项。

例如：浏览所有 1G 以上大小的文件的详细信息

与exec作用相同，区别在于，在执行命令之前，都会给出提示，让用户确认是否执行

与 exec 作用相同 ，起承接作用。区别在于 |xargs 主要用于承接删除 *** 作 ，而 -exec 都可用 如复制、移动、重命名等

例1：查找以ap或may开头的文件

例2：查硬连接数大于2的文件或目录

例3：查找含特定字符串的文件。查找当前目录下含有"the string you want find…"字符串的文件：

例4：从根目录开始查tmpfile，一旦查到马上删除

例5：如何用find查找某一天更改的文件？可以使用这一行命令来实现：

A Guide to the Linux “Find” Command

https://www.cnblogs.com/wanqieddy/archive/2011/06/09/2076785.html

https://blog.csdn.net/l_liangkk/article/details/81294260

https://blog.csdn.net/hetoto/article/details/84101745

http://c.biancheng.net/view/779.html

http://blog.chinaunix.net/uid-24648486-id-2998767

https://www.runoob.com/linux/linux-comm-find.html

https://www.jb51.net/article/147275.htm

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在对数据分析并生成报告时，显得尤为强大。

简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk有三个不同的版本：awk、nawk和gawk，未作特别说明，一般指gawk，gawk是awk的GNU版本。

之所以叫awk是因为其取了三位创始人Alfred Aho,Peter Weinberger,和Brian Kernighan的Family

Name的首字符。

awk格式：

格式: sed -n '3p' sed.txt

找谁干啥(条件动作)

awk格式

#取出/etc/passwd 第1行的第1列和第3列

awk -F: 'NR==1{print $1,$3}' /etc/passwd

awk 选项 '条件{动作}' /etc/passwd

条件: 哪一行,过滤什么内容

动作: print输出与显示 ,计算....

awk取行：与sed类似

案例01：取出sed.txt的第2行

[root@oldboy81-golden-lnb /oldboy]# cat sed.txt

101,oldgirl,CEO

102,zhangya,CTO

103,lidao007,COO

104,yy,CFO

105,feixue,CIO

110,lidao,COCO

[root@oldboy81-golden-lnb /oldboy]# awk 'NR==2' sed.txt

102,zhangya,CTO

#awk '行号 等于 2' sed.txt

#NR awk内置变量

Number of Record 记录号(行号)

案例02：取出sed.txt中包含oldboy或lidao的行

[root@oldboy81-golden-lnb /oldboy]# sed -rn '/oldboy|lidao/p' sed.txt

103,lidao007,COO

110,lidao,COCO

[root@oldboy81-golden-lnb /oldboy]# awk '/oldboy|lidao/' sed.txt

103,lidao007,COO

110,lidao,COCO

案例03：取出文件第2行到第5行内容

#awk '行号大于等于2 并且 行号小于等于5' sed.txt

#方法01

awk 'NR>=2 &&NR<=5' sed.txt #必会

&&表示并且.

#方法02

sed -n '2,5p' sed.txt

#方法03 了解

awk 'NR==2,NR==5' sed.txt #从行号是2的行开始 到 行号是5的行结束( 了解)

案例04：取出文件第3行到最后一行内容

[root@oldboy81-golden-lnb /oldboy]# awk 'NR >= 3' sed.txt

103,lidao007,COO

104,yy,CFO

105,feixue,CIO

110,lidao,COCO

[root@oldboy81-golden-lnb /oldboy]# sed -n '3,$p' sed.txt

103,lidao007,COO

104,yy,CFO

105,feixue,CIO

110,lidao,COCO

案例05：取出从包含oldboy的行到lidao的行

[root@oldboy81-golden-lnb /oldboy]# cat sed.txt

101,oldgirl,CEO

102,zhangya,CTO

103,lidao007,COO

104,yy,CFO

105,feixue,CIO

110,lidao,COCO

root@oldboy81-golden-lnb /oldboy]# sed -n '/old/,/lidao/p' sed.txt

101,oldgirl,CEO

102,zhangya,CTO

103,lidao007,COO

[root@oldboy81-golden-lnb /oldboy]# awk '/old/ , /lidao/' sed.txt

101,oldgirl,CEO

102,zhangya,CTO

103,lidao007,COO

---