文本处理命令（一）——grep学习总结

grep （global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。除了grep，还有egrep和fgrep，egrep可以看作是grep的增强版本，支持更多re元字符，fgrep是fixed grep或fast grep，它们把所有的字母都看作单词，也就是说，正则表达式中的元字符表示回其自身的字面意义，不再特殊。Linux使用GNU版本的grep，可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。
查看grep工具的使用可以通过

grep --help
匹配模式选择:
 -E, --extended-regexp     扩展正则表达式egrep
 -F, --fixed-strings       一个换行符分隔的字符串的集合fgrep
 -G, --basic-regexp        基本正则
 -P, --perl-regexp         调用的perl正则
 -e, --regexp=PATTERN      后面根正则模式，默认无
 -f, --file=FILE           从文件中获得匹配模式
 -i, --ignore-case         不区分大小写
 -w, --word-regexp         匹配整个单词
 -x, --line-regexp         匹配整行
 -z, --null-data           一个 0 字节的数据行，但不是空行

杂项:
 -s, --no-messages         不显示错误信息
 -v, --invert-match        显示不匹配的行
 -V, --version             显示版本号
 --help                    显示帮助信息
 --mmap                use memory-mapped input if possible

输入控制:
 -m, --max-count=NUM       匹配的最大数
 -b, --byte-offset         打印匹配行前面打印该行所在的块号码。
 -n, --line-number         显示的加上匹配所在的行号
 --line-buffered           刷新输出每一行
 -H, --with-filename       当搜索多个文件时，显示匹配文件名前缀
 -h, --no-filename         当搜索多个文件时，不显示匹配文件名前缀
 --label=LABEL            print LABEL as filename for standard input
 -o, --only-matching       只显示一行中匹配PATTERN 的部分
 -q, --quiet, --silent      不显示任何东西
 --binary-files=TYPE   假定二进制文件的TYPE 类型；
                                      TYPE 可以是`binary', `text', 或`without-match'
 -a, --text                匹配二进制的东西
 -I                        不匹配二进制的东西
 -d, --directories=ACTION  目录操作，读取，递归，跳过
 -D, --devices=ACTION      设置对设备，FIFO,管道的操作，读取，跳过
 -R, -r, --recursive       递归调用
 --include=PATTERN     只查找匹配FILE_PATTERN 的文件
 --exclude=PATTERN     跳过匹配FILE_PATTERN 的文件和目录
 --exclude-from=FILE   跳过所有除FILE 以外的文件
 -L, --files-without-match 匹配多个文件时，显示不匹配的文件名
 -l, --files-with-matches  匹配多个文件时，显示匹配的文件名
 -c, --count               显示匹配了多少次
 -Z, --null                在FILE 文件最后打印空字符

文件控制:
 -B, --before-context=NUM  打印匹配本身以及前面的几个行由NUM控制
 -A, --after-context=NUM   打印匹配本身以及随后的几个行由NUM控制
 -C, --context=NUM         打印匹配本身以及随后，前面的几个行由NUM控制
 -NUM                      根-C的用法一样的
 --color[=WHEN],
 --colour[=WHEN]       使用标志高亮匹配字串；
 
 -U, --binary               使用标志高亮匹配字串；
 -u, --unix-byte-offsets   当CR 字符不存在，报告字节偏移(MSDOS 模式)

常用选项及使用总结
给出测试文件test.txt

root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/bin/false,aaa,bbbb,cccc,aaaaaa
DADddd:x:2:2:daemon:/sbin:/bin/false
mail:x:8:12:mail:/var/spool/mail:/bin/false
ftp:x:14:11:ftp:/home/ftp:/bin/false
&nobody:$:99:99:nobody:/:/bin/false
zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash
http:x:33:33::/srv/http:/bin/false
dbus:x:81:81:System message bus:/:/bin/false
hal:x:82:82:HAL daemon:/:/bin/false
mysql:x:89:89::/var/lib/mysql:/bin/false
aaa:x:1001:1001::/home/aaa:/bin/bash
ba:x:1002:1002::/home/zhangy:/bin/bash
test:x:1003:1003::/home/test:/bin/bash
@zhangying:*:1004:1004::/home/test:/bin/bash
policykit:x:102:1005:Po

查找所有包含root的行

cat test.txt | grep root 或 grep root test.txt
输出：
root:x:0:0:root:/root:/bin/bash

匹配以root开头或者以zhang开头的行，注意反斜杠

#grep方式需要使用'\'进行转义，-e表示后面是正则表达式，默认没有该选项
cat test.txt | grep -e '^\(root\|zhang\)'
#egrep方式-E选项直接跟正则表达式，也可以使用-F或-G选项
cat test.txt | grep -E '^(root|zhang)'
输出：
root:x:0:0:root:/root:/bin/bash  
zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash

在匹配的行前面加上该行在文件中，或者输出中所在的行号

cat test.txt | grep -n 'zhangy'
输出：
7:zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash  
13:ba:x:1002:1002::/home/zhangy:/bin/bash  
15:@zhangying:*:1004:1004::/home/test:/bin/bash

不匹配以root或zhang开头的行,并显示行号

cat test.txt | grep -nvE '^(root|zhang)'
输出：
2:bin:x:1:1:bin:/bin:/bin/false,aaa,bbbb,cccc,aaaaaa
3:DADddd:x:2:2:daemon:/sbin:/bin/false
4:mail:x:8:12:mail:/var/spool/mail:/bin/false
5:ftp:x:14:11:ftp:/home/ftp:/bin/false
6:&nobody:$:99:99:nobody:/:/bin/false
8:http:x:33:33::/srv/http:/bin/false
9:dbus:x:81:81:System message bus:/:/bin/false
10:hal:x:82:82:HAL daemon:/:/bin/false
11:mysql:x:89:89::/var/lib/mysql:/bin/false
12:aaa:x:1001:1001::/home/aaa:/bin/bash
13:ba:x:1002:1002::/home/zhangy:/bin/bash
14:test:x:1003:1003::/home/test:/bin/bash
15:@zhangying:*:1004:1004::/home/test:/bin/bash
16:policykit:x:102:1005:Po

显示匹配的个数，不显示内容

#-c选项返回匹配的个数
cat test.txt | grep -c root
输出：
3

最多只匹配i次，如果把-m i去掉的话，会有显示所有

cat test.txt | grep -m 1 zhang
输出：
zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash

匹配时，在匹配的行前面加上文件名（通常用于多文件匹配）

cat test.txt | grep -H root
输出：
test.txt:root:x:0:0:root:/root:/bin/bash

显示匹配文件的文件名（通常用于多文件匹配）

cat test.txt | grep -l root
输出：
test.txt

忽略大小写进行匹配

cat test.txt | grep -i Root    #没有-i将匹配不到内容
输出：
root:x:0:0:root:/root:/bin/bash

匹配整个单词

cat test.txt | grep -w 'root'
输出：
root:x:0:0:root:/root:/bin/bash
#如果换成 cat test.txt | grep -w 'roo' 将匹配不到内容

匹配整行 -x 选项

cat test.txt | grep -x root
输出：
吴匹配内容
#修改命令
echo "root" | grep -x root
输出：
root

将匹配项分别显示（用于一行中存在多个匹配项的情况）

#不加-o选项
cat test.txt | grep root
输出：
root:x:0:0:root:/root:/bin/bash    #行内匹配项显示在一行
#含-o选项
cat test.txt | grep -o root
输出：
root
root
root
#一行内的匹配项分别显示，且只显示匹配的部分

显示匹配行及前后i行

#显示匹配行及其后三行
cat test.txt | grep -A 3 root
输出：
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/bin/false,aaa,bbbb,cccc,aaaaaa
DADddd:x:2:2:daemon:/sbin:/bin/false
mail:x:8:12:mail:/var/spool/mail:/bin/false
#如果存在下面情况
cat test.txt | grep -n zhangy
输出：
7:zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash
13:ba:x:1002:1002::/home/zhangy:/bin/bash
15:@zhangying:*:1004:1004::/home/test:/bin/bash
#假设对zhangy进行匹配，显示匹配行及后3行，将如何输出
cat test.txt | grep -nA3 zhangy
输出：
7:zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash
8-http:x:33:33::/srv/http:/bin/false
9-dbus:x:81:81:System message bus:/:/bin/false
10-hal:x:82:82:HAL daemon:/:/bin/false
--
13:ba:x:1002:1002::/home/zhangy:/bin/bash
14-test:x:1003:1003::/home/test:/bin/bash
15:@zhangying:*:1004:1004::/home/test:/bin/bash
16-policykit:x:102:1005:Po
#重复的行将合并输出

grep各个选项可以根据需要进行组合使用，但有时候需要注意顺序，比如上面操作grep -nA3 zhangy 如果写成grep -A3n zhangy 将会报错，因为无法识别3n具体是多少行。或者多个选项可以通过空格+'-'进行分隔，例如grep -A3 -n zhangy 就不会报错了。