Linux文本处理三剑客：grep/sed/awk
2020-09-01 本文已影响0人
沐晓而苏
grep：文本搜索
grep命令介绍
-
grep，用来查找文件中匹配指定文本的行并打印出来
-
语法格式： grep [选项] PATTERN 文件名
-
命令解释：查找指定文件中包含PATTERN的行
常用选项
-
-r：递归查找指定目录下的所有文件（grep命令默认支持多个文件的查找，但不能在目录中查找，如果需要在目录中进行查找，则需要使用 -r选项指定)。可以使用--exclude排除某些文件，使用--exclude-file排除某些目录
grep -r hello . grep hello test01.txt test02.txt -
-c：只打印匹配的行数，不显示内容
grep -c Hello test01.txt -
-i：忽略大小写进行匹配
grep -i hello test01.txt -
-v：反向匹配，打印不匹配的内容
grep -v hello test01.txt -
-l：打印包含匹配项的文件名
grep -l zip dirlist*.txt -
-L：打印不包含匹配项的文件名
grep -L zip dirlist*.txt -
-n：在每个匹配行之前打印出其位于文件中的相应行号
grep -n zip dirlist*.txt -
-E：使用正则表达式进行匹配
echo "BBB" | grep -E 'AAA|BBB'
sed：流编辑器
sed命令介绍
-
sed(stream editor，流处理器)： 对文本流进行编辑。在临时缓冲区中创建副本文件，只修改副本不修改源文件（可以使用-i直接修改源文件），逐行处理文件，处理临时缓冲区中的行。
-
sed命令格式
sed [-hnV] [-e<script>] [-f<script文件>] [文本文件]
常用动作
-
a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
sed -e "1athis is a other line add by sed command" test01.txt -
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
sed -e '1ithis is a other line add by sed command' test01.txt -
d ：删除
# 打印test02.txt前四行 sed -e '5,$d' test02.txt -
s ：替换
sed -e 's/line/hello,sed./g' test01.txt sed -e '5s/line/line 5/1' -e '5s/line/hello,sed./2' test01.txt -
-n与p配合使用（-n，关闭默认打印，p 打印匹配的行）
sed -n '5s/line/hello, sed/1p' test01.txt-
实例：catalina.out提取某个时间段的日志，输出到指定文件中
# sed -n '/起始时间/,/结束时间/p' 日志文件 > 输出文件 sed -n '/2020-08-01 10:00*/,/2020-08-01 11:00*/p' catalina.out > aaa.txt
-
awk：文本分析
awk命令介绍
-
awk：通常用来进行文本分析
-
awk用法
awk '{[pattern] action}' {filenames}awk -F #-F相当于内置变量FS, 指定分割字符awk -v # 设置变量awk -f {awk脚本} {文件名}
常用动作
示例文件 data.dat如下：
1,aaa,aaa@163.com,1995-04-05,12000
2,bbb,bbb@163.com,1996-08-15,10000
3,ccc,ccc@163.com,1998-06-07,8888
4,ddd,ddd@163.com,1994-05-04,14400
5,eee,eee@163.com,1996-03-23,7200
6,fff,fff@163.com,1995-02-21,16000
7,ggg,ggg@163.com,1997-11-12,18888
-
打印文件 print
awk '{print $0}' data.dat -
指定分隔符，打印第2列与第3列
[root@localhost cmd]# awk -F , '{print $2,$3}' data.dat aaa aaa@163.com bbb bbb@163.com ccc ccc@163.com ddd ddd@163.com eee eee@163.com fff fff@163.com ggg ggg@163.com -
设置变量并使用(会修改源文件)
[root@localhost cmd]# awk -F ',' -va=1000 '{print $2, $5+a}' data.dat aaa 13000 bbb 11000 ccc 9888 ddd 15400 eee 8200 fff 17000 ggg 19888 -
实现累加
# 计算所有薪资 [root@localhost cmd]# awk -F ',' '{sum+=$5}END{print sum}' data.dat 87376 # 计算薪资大于15000的薪资总和 [root@localhost cmd]# awk -F ',' '$5>15000 {sum+=$5}END{print sum}' data.dat 34888 -
行号
# 打印薪资大于12000的员工行号、姓名和薪资 [root@localhost cmd]# awk -F ',' '$5>12000 {print NR,$2,$5}' data.dat 4 ddd 14400 6 fff 16000 7 ggg 18888 # 统计薪资大于12000的员工总数量 [root@localhost cmd]# awk -F ',' '$5>12000' data.dat | wc -l 3
