一：什么是正则表达式

在做文字处理或编写程序时，用到查找、替换等功能，使用正则表达式能够简单快捷的完成目标。简单而言，正则表达式通过一些特殊符号的帮助，使用户可以轻松快捷的完成查找、删除、替换等处理程序。例如 grep, expr, sed , awk. 或 Vi 中经常会使用到正则表达式，为了充分发挥 shell 编程的威力,需要精通正则表达式。正规表示法基本上是一种『表示法』， 只要工具程序支持这种表示法，那么该工具程序就可以用来作为正规表示法的字符串处理之用。 也就是说，例如 vi, grep, awk ,sed 等等工具，因为她们有支持正规表示法， 所以，这些工具就可以使用正规表示法的特殊字符来进行字符串的处理。

1.特殊符号

[:alnum:]代表英文大小写字母及数字 
[:alpha:]代表英文大小写字母
[:blank:]代表空格和 tab 键
[:cntrl:]键盘上的控制按键，如 CR,LF,TAB,DEL
[:digit:]代表数字
[:graph:]代表空白字符以外的其他
[:lower:]小写字母
[:print:]可以被打印出来的任何字符
[:punct:]代表标点符号
[:upper:]代表大写字母
[:space:]任何会产生空白的字符如空格，tab,CR 等
[:xdigit:]代表 16 进位的数字类型

# grep -n '[[:digit:]]' regular_express.txt  ##查找数字
# grep -n '[[:lower:]]' regular_express.txt  ##查找小写字符

二. grep

1.搜寻特定字符

参数说明
-a ：将 binary 档案以 text 档案的方式搜寻数据

-c ：计算找到 '搜寻字符串' 的次数

-i ：忽略大小写的不同，所以大小写视为相同

-n ：顺便输出行号

-v ：反向选择，亦即显示出没有 '搜寻字符串' 内容的那一行

grep -in 'the' filename  ##-i 忽略大小写
grep -vn 'the' filename  ##-v取反

2.字符组匹配

• []中包含的任意一个字符。只能是一个。
• 字符组支持由连字符“ - ”来表示一个范围。当“ - ”前后构成范围时，要求前面字符的码位小于后面字符的码位。
• [^...] 排除型字符组。排除后面的字符。

[abc]           ：表示“a”或“b”或“c”
[0-9]           ：表示 0~9 中任意一个数字，等价于[0123456789]
[\u4e00-\u9fa5] :表示任意一个汉字
[^a1<]          :表示除“a”、“1”、“<”外的其它任意一个字符
[^a-z]          :表示除小写字母外的任意一个字符

实例：

查找“tast”或者“test”两个字符串。
# grep -n 't[ae]st' regular_express.txt 

查找不包含“#”的字符串
# grep -n '[^#]' regular_express.txt  

$ grep -n 'oog' regular_express.txt ##查找oog字符

$ grep -n '[^g]oog' regular_express.txt   ##查找ogg前面不含g的字符 

$ grep -n '[^go]oog'regular_express.txt   ##查找 ogg前面不含g或者o的字符

3.行首符和行尾符

grep -n '^the' regular_express.txt  ##查找行首为the的字符行
grep -n '^[A-Z]' regular_express.txt   ##查找行首为大写字符的行
grep -n 'd$' regular_express.txt   ##查找以d结尾的行

grep -v '^$' /etc/insserv.conf | grep -v '^#' ## '^$' : 过滤掉空白行。'^#' ：过滤掉注释行（以#号开头）

4. 任意字符与重复字符
   小数点表示任意一个字符，一个小数点只能表示一个未知字符。

*（星号）：代表重复前面 0 个或者多个字符。
e*： 表示具有空字符或者一个以上 e 字符。
ee*，表示前面的第一个 e 字符必须存在。第二个 e 则可以是 0 个或者多个 e 字符。
eee*，表示前面两个 e 字符必须存在。第三个 e 则可以是 0 个或者多个 e 字符。
ee*e ：表示前面的第一个与第三个 e 字符必须存在。第二个 e 则可以是 0 个或者多个 e 字符。

$ grep -n 'e*' regular_express.txt  ##会打印所有文本
$ grep -n '@*' regular_express.txt   ##会打印所有文本
$ grep -n 'eee*' regular_express.txt  ##会打印eee（第三个为0或n的字符）

4.限定连续字符范围

{ }可限制一个范围区间内的重复字符数。举个例子，若要找出 2~5 个 o 的连续字符串，如何做？ 此时便要用到{}了。由于 { 与 } 在 shell 中有特殊意义，需要用到转义字符\。

$ grep -n 'o\{2\}' regular_express.txt 等于 $ grep -n 'ooo' regular_express.txt
$ grep -n 'go\{2,5\}g' regular_express.txt ##查找 g 后面接 2 到 5 个 o，然后再接 g 的字符串

总结

总结：
^word    表示带搜寻的字符串(word)在行首

word$    表示带搜寻的字符串(word)在行尾

.(小数点) 表示 1 个任意字符

\        表示转义字符，在特殊字符前加\会将特殊字符意义去除

*        表示重复 0 到无穷多个前一个 RE(正则表达式)字符

[list]   表示搜索含有 l,i,s,t 任意字符的字符串

[n1-n2]  表示搜索指定的字符串范围,例如[0-9] [a-z] [A-Z]等

[^list]  表示反向字符串的范围,例如[^0-9]表示非数字字符，[^A-Z]表示非大写字符范围

\{n,m\}  表示找出 n 到 m 个前一个 RE 字符

\{n,\}   表示 n 个以上的前一个 RE 字符

三：sed

sed 是非交互式的编辑器。它不会修改文件，除非使用 shell 重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。

sed 编辑器逐行处理文件（或输入），并将结果发送到屏幕。具体过程如下：首先 sed 把当前正在处理的行保存在一个临时缓存区中（也称为模式空间），然后处理临时缓冲区中的行，完成后把该行发送到屏幕上。sed 每处理完一行就将其从临时缓冲区删除，然后将下一行读入，进行处理和显示。处理完输入文件的最后一行后，sed 便结束运行。sed 把每一行都存在临时缓冲区中，对这个副本进行编辑，所以不会修改原文件。

如果要修改原文件，可使用-i 选项。

 $ nl regular_express.txt | sed '2,5d' ## 打印文件并删除2-5行
 $ nl regular_express.txt | sed '2,$d' ##打印文档并删除2到最后一行
$ sed -i '1d' regular_express.txt ##在原文件中删除第一行

1.添加字符串

a表示在行后加上字符串，i表示在行前添加字符串

$ nl regular_express.txt | sed '2i test'  ##在第2行前面添加test
$ nl regular_express.txt | sed '2a test'  ##在第2行后面添加test
$ nl regular_express.txt | sed '2a    test\ntest'  ##在第2行后面添加2行test。\n表示换行符

2. 替换内容选项c

nl regular_express.txt | sed '2,5c no 2,5 number'   ##将2-5行替换为no 2,5 number.

3.列出特定行

sed 命令中-n 为安静模式选项。以下两条命令执行结束后可对比结果。

$ nl regular_express.txt |sed -n '5,7p'

$ nl regular_express.txt |sed  '5,7p'

区别

4.替换字符串：

sed 's/被替换字符串/新字符串/g'

$ /sbin/ifconfig eth0 |grep 'inet '   ##获取本机IP
inet 后面的空格不能少

删除IP前面部分
删除IP前面及后面两部分

四：扩展正则表达式

正规正则表达式

$ grep -v '^$' regular_express.txt |grep -v '^#'  ##过滤掉空白行和注释行

扩展正则表达式

$ egrep -v '^$|^#' regular_express.txt

利用支持延伸型正规表示法的 egrep 与特殊字符 “|” 的组功能来区隔两组字符串，如此一来，是否方便很多呢？

此外，grep 默认仅支持基础正则表达式，如果要使用扩展性正则表达式，可以使用 grep - E。grep -E 与 egrep 相当于命令别名关系。