linux之文本内容替换命令sed

sed简介：流编辑工具，用来对文本进行过滤与替换 *** 作。

sed流程：sed通过一次仅读取一行内容来对某些指令进行处理后输出。

1、sed通过文件或管道读取文件内容，但sed默认并不直接修改源文件，而是将读入的内容复制到缓冲区中，称之为模式空间。

2、所有的指令 *** 作都是在模式空间找那个进行

3、sed根据相应的指令对模式空间中的内容进行处理并输出结果，默认输出至标准输出（即屏幕上）。

sed基本语法格式：

用法：sed[选项]...{脚本指令}[输入文件]...

选项： -version 显示sed版本

-help ：显示帮助文档

-n,-quiet,-silent静默输出，默认情况下，sed程序在所有的脚本指令执行完毕后，将自动打印模式空间中的内容。

-e script允许多个脚本指令被执行

-f script-file从文件中读取脚本指令，对编写自动化脚本程序很实用

-i ,-in-place 该选项直接修改源文件

-l N 该选项指定l指令可以输出的行长度，l指令为输出非打印字符。

-posix 禁用GNU sed扩展功能。

-r 在脚本指令中使用扩展正则表达式。

-s，-separate 默认情况下，sed将把输入的多个文件名作为一个长的连续的输入流。而GNU sed则允许把它们当作单独的文件。

-u，-unbuffered 最低限度的缓存输入与输出

a，append表示追加指令；

i，insert表示插入指令；

d，delete表示删除指令；

s，substitution表示替换指令。

sed脚本指令的基本格式是：

[地址,即路径]命令（有些命令仅可以对一行 *** 作，有些可以对多行 *** 作），命令也可以用花括号进行组合，使命令序列可以作用于同一个地址。

address{

command1

command2

command3

}

sed的基本工作方式是：

sed的替换命令s：

1、全局替换 ： s/old/new/g ，其中g为全局替换，用于替换所有出现的次数； /如果和正则匹配的内容冲突可以使用其他符号，如 ： s@old@new@g

2、标志位

为什么要有多行模式: 配置文件一般有单行出现，但也有使用json或XML格式的配置文件，为多行出现。

多行模式处理命令N、D、P

awk、grep、sed是linux文本 *** 作的三大利器，grep适合单纯的查找或文本匹配，sed适合编辑匹配到的文本，awk适合格式化文本，对文本进行较复杂格式处理。

命令格式：grep [option] pattern file 用于过滤/搜索的特定字符，可与正则表达式配合，使用上十分灵活。

命令格式：sed [options] '[地址定界] command' file(s) 用于编辑一个或多个文件, 简化对文件的反复 *** 作。

演示实例：

命令格式：awk [options] 'BEGIN{ action… } pattern{ action… } END{ action… }' file ... 用于在linux下对文本和数据进行处理，数据可以来自一个或多个文件，支持用户自定义函数和动态正则表达式等功能。

演示实例：

a.随机取用户

cat file1 | awk '{ print rand(),$1 }' |sort -k1 |awk '{ print $2 }' |head -4000

b.分组求和

awk '{s[$1] += $2}END{ for(i in s){ print i, s[i] } }' file1 >file2

c.求和

cat data|awk '{sum+=$1} END {print "Sum = ", sum}'

d.求平均

cat data|awk '{sum+=$1} END {print "Average = ", sum/NR}'

e.求标准偏差

cat $FILE | awk -v ave=$ave '{sum+=($1-ave)^2}END{print sqrt(sum/(NR-1))}'

f.列换成行，如果第一列相同，将所有的第二列 第三列 都放到一行里面

awk '{qq[$1]=qq[$1](" "$2" "$3)}END{for(i in qq)print i,qq[i]}'

g.合并文件，2个文件，每个2列，将他们按照第一列相同的数，来合并成一个三列的文件,同时，将每个文件中针对第一列对应第二列中没有的数补0

awk 'FNR==NR{a[$1]=$2}FNR<NR{a[$1]?a[$1]=a[$1]" "$2:a[$1]=a[$1]" 0 "$2}END{for(i in a)print i,a[i]}' file1 file2 >file3

sed命令行格式：sed [options] 'command' file(s)

options常用选项：

-n或--quiet或——silent：仅显示script处理后的结果

-e：以选项中的指定的script来处理输入的文本文件

-f：以选项中指定的script文件来处理输入的文本文件

-r∶sed 的动作支援的是延伸型正规表示法的语法

-i∶直接修改读取的档案内容，而不是由萤幕输出

-h或--help：显示帮助

-V或--version：显示版本信息。

Command常用命令：

a：新增，a 的后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)

c：取代，c 的后面可以接字符串，这些字符串可以取代 n1,n2 之间的行

d：删除，d 后面通常不接任何字符串

i：插入，i 的后面可以接字符串，而这些字符串会在新的一行出现(目前的上一行)

p：列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作

s：取代，可以直接进行取代的工作，通常与正规表达式搭配使用。

实例说明：

新增 *** 作：a命令

sed '/^bird/a\test' file将test追加到 以bird开头的行后面

删除 *** 作：d命令

sed '/^$/d' file #删除空白行

sed '2d' file #删除第二行

sed '2,$d' file #删除第2行到最后一行

sed '$d' file #删除最后一行

sed '/^bird/'d file #删除所有开头是bird的行

插入 *** 作：i命令

sed -i '3i\bird ' bird.conf #在bird.conf文件第3行之前插入bird

替换文本中的字符串：s命令

sed 's/bird/birds/' file #将文本中的bird替换成birds

sed -i 's/ bird / birds /g' file #将file文件中每一行的第一个bird替换为birds

---