Linux正则表达式与通配符

正则表达式：在计算机科学中，是指一个用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串。在很多文本编辑器或其他工具里，正则表达式通常被用来检索或替换那些符合某个模式的文本内容。正则表达式这个概念最初是由Unix中的工具软件（例如sed和grep）普及开的。

只有掌握了正则表达式，才能全面地掌握 Linux 下的常用文本工具（例如：grep、egrep、GUN sed、 Awk 等） 的用法

grep、sed、awk天然支持正则

grep -v代表反选，反向选择匹配到的内容

grep -E代表使用扩展正则

grep -P代表使用Perl正则

sed -r 代表使用扩展正则

正则表达式分为三类（man grep可以看到，分别是basic RegExs，extended RegExs，perl RegExs）

1、基本的正则表达式（Basic Regular Expression 又叫 Basic RegEx 简称 BREs）

2、扩展的正则表达式（Extended Regular Expression 又叫 Extended RegEx 简称 EREs）

3、Perl 的正则表达式（Perl Regular Expression 又叫 Perl RegEx 简称 PREs）

b. 处理过程：查找文本文件中是否包含要查找的 “关键字”（关键字可以是正则表达式） ，默认返回匹配的该行的内容

c. grep|egrep处理文件时，按行处理 |

| sed | sed | sed -r | - | a. 处理对象：文本文件

b.处理 *** 作：对文本文件的内容进行 查找、替换、删除、增加等 *** 作

c. sed 在处理文本文件的时候，按行处理 |

| awk | - | awk | - | a. awk 处理的对象：文本文件

b. awk 处理 *** 作：主要是对列进行 *** 作 |

注意：egrep 或 sed -r 默认使用扩展正则表达式(EREs)，一般特殊字符（{}）可以不转义

grep -E 以及egrep（Extend Regular Expression）

Linux通配符和三剑客的正则表达式是不一样的，因此，代表的意义也有较大的区别 。

通配符一般用户命令行bash环境，而linux正则表达式用于grep, sed, awk场景。

通配符说明

示例：* 的使用：代表任意0-N个字符，代表所有字符

它是由shell解析，并且一般用于匹配文件名，实际上就是shell解释器去解析的特殊符号，linux系统通配符有几下几种：

*：匹配任意多个字符

?：匹配任意一个字符

[...]：匹配中括号内出现的任意一个字符

[!...]：不匹配中括号内出现的任意一个字符

一般出现在要shell命令或脚本中，匹配特定的文件名

正则表达式

它是一个字符匹配标准，一些命令工具按此标准实现字符匹配，根据命令支持的匹配功能可分为基础正则表达式和扩展正则表达式，常用于支持正则表达式的工具，如sed，grep，awk...

有如下一些常用的匹配元字符：

字符匹配

.：匹配任意单个字符

*：匹配其前面一个字符出现任意次

?：匹配其前面的字符1次或0次

+：匹配其前面一个字符出现至少一次（在扩展正则表达式中）

位置匹配

^：锚定行首

$：锚定行尾

\<或\b：锚定词首，其后面的任意字符必须作为单词首部出现

\>或\b：锚定词尾，其前面的任意字符必须作为单词尾部出现

\B：非单词的开头或结尾

^$：空白行

分组() ：

(ab)* ： 匹配ab这个分组出现任意次

\1：引用第一个左括号以及与之对应的右括号所包括的所有内容，同理还有\2,\3

特殊子字符类：

[:alnum:] ：任何字母和数字

[:alpha:] ：任何字母

[:cntrl:] ：控制字符. 在ASCII表中对应八进制000 到 037, 和177 ('DEL').

[:digit:] ：任何数字

[:graph:] ：匹配打印字符，相当于'[:alnum:]' +'[:punct:]'.

[:lower:] ：小写字母

[:print:] ：可打印字符，相当于 '[:alnum:]', '[:punct:]', 和space.

[:punct:] 标点符号，'! " # $ % &' ( ) * + , - . / : <= >? @ [ \ ] ^ _ ' { | } ~'

[:space:] 空白字符，tab, newline, vertical tab, form feed, carriage return, and space.

[:upper:] 大写字母

[:xdigit:] 任何16进制的数字，相当于[0-9a-fA-F]

所以：^[[:space:]]*$ ：匹配没有任何内容的行

需要注意：[]中的特殊字符如.已经失去了其特殊含义，和方括号中的普通字符[abc]一样。