三剑客grep,sed,awk

2019-05-05 本文已影响0人 HugiFish

log分析是非常常见的异常追查手段，但是由于生产环境下log体量极为庞大，正确的选择分析工具是快速排查异常的先决条件。
那么如何从海量的log信息中基于特定的格式自动抽取我们需要的信息呢？这里我们就会用到Linux世界里赫赫有名的三剑客(grep,sed,awk)

1.概述

grep:是Linux系统中的一个文本搜索工具，使用正则表达式搜索文本，功能最为简单，也最快，适用于单纯的查找和匹配。
sed:是一种非交互式编辑器，能够执行vi相同的编辑任务，一次处理一行内容，适用于编辑匹配文本。
awk:是一个强大的文本分析工具，也可以把他理解为脚本语言解释器，有很多内建功能，适用于处理格式化的文本，对文本进行复杂的格式化处理。
综上所述：
应用难易程度：grep <= sed < awk
功能：grep < sed <awk
下面由易到难逐步介绍这几个命令：

2.grep

输入：文件或一个标准输入stdin或管道
输出：打印至屏幕，或重定向至文件，或输出至管道
命令格式： grep [options] 'pattern{actions}' filename
grep单独使用时grep会一直等待，直到该程序被中断。如果遇到了这样的情况，可以按“Ctrl+c”终止。避免这种情况的方式是将需要查询的文件通过管道扔给grep程序，例cat /etc/passwd | grep root

2.1常用的option `()内是笔者记忆的窍门`

-o 这个选项时最常用，只显示匹配内容，grep默认显示满足匹配条件的那一行的所有结果 (only-matching)
-i 比较字符时忽略大小写（ignore）
-w 模式作为单词来查找，相当于正则中"<word>" (word)
-x 只显示被匹配到的内容是整行的结果，相当于正则中"^$",一般是用于利用正则表达式匹配整行(regexp)
-v 取反，输出我们定义模式相反的内容 (invert)
-c 统计匹配到的行数,统计匹配比例时可以，比如先计算出匹配行数，然后用wc -l 计算出总行数，这样就可以求出匹配比例(count)
-m 可以匹配的最大个数 ,比如特例抽取时,可以通过限定匹配的最大个数，简化结果(max)
-n 在输出结果时显示行号 (number)

2.2常用的正则表达式

^行首
$行尾
\<词首
\>词尾
. 除换行符以外的所有字符
*匹配零个或者多个前导字符
[]匹配任意一个包含字符
[^]匹配不属于包含字符中的任意一个字符
x{m}重复字符x,m次，如grep 'a{5}'表示匹配包含5个a的行
x{m,}重复字符x至少m次，
x{m,n}重复字符x至少m次，但不能多于n次如grep 'a{5,10}表示匹配包含5～10个a的行

3.sed

输入：文件或者一个标准输入或管道
输出：打印至屏幕，或重定向至文件，或输出至管道
工作原理：sed会逐行从数据源读入数据，放置在一个临时缓冲区（术语叫模式空间）中，然后对数据进行处理后输出，默认理论上是不修改数据源的内容，但是如果加入-i操作，就会将处理后的数据输出至数据源，所以需要-i操作时一定要慎重。此外，如果是连续命令，sed每个命令都是前一个命令的输出，所以命令顺序是很重要的,例如：sed 's/abc/def/g;s/def/jqk/g' file,这个命令相当于sed 's/abc/jqk/g' file，因为file文件中的abc 先被替换成def,然后def再被替换成jqk。
命令格式：sed [options] 'pattern{actions}' filename

3.1常用的option `()内是笔者记忆的窍门`

-r sed 使用扩展正则。
-i 直接修改文档读取内容，不再屏幕上输出。
-n 使用安静模式，只打印被sed处理的行。⚠️此选项只有当行整体内容被改变时才会打印处理的行，比如a,i,c命令；如果后面内容处理命令是s部分替换命令,需要配合p命令才可以打印出处理的行，例如 sed -n 's/root/newroot/gp' /etc/passwd

3.2常用处理命令

处理命令中不仅仅包含编辑命令，还有地址匹配命令。地址匹配命令是处理命令中非常重要的一个部分，它的作用是告诉sed处理命令适用于那些行，缺省的地址匹配命令是全局匹配，即对所有内容执行编辑操作。
地址匹配命令：行号(例如：^，1，2，3，4....$ )或正则表达式缺省值为全局匹配，即编辑命令应用到所有行指定了一个值，表示编辑命令只匹配该行，这个值可以由行号给出，也可以由正则表达式匹配后给出指定一个地址对，将编辑命令应用至这个地址对包含范围中的所有行，地址对可以全部由行号组成，也可以全部由正则表达式组成，还可以由行号和正则表达式混合组成，例如：1.（2,5）表示2到5行；2.（/正则1/,/正则2/）正则1为开始条件，正则2为结束条件，先找满足开始条件的行，然后再找满足结束条件的行，如果找到了满足结束条件的行后，再向下继续寻找满足开始条件的行。3.（/正则1/，3）或者（2，/正则2/）反向地址匹配，在地址后边添加一个感叹号(!)，则将编辑命令全部应用到没有匹配到的文本行上
a：在满足条件的行的下一行添加(add)
i: 在满足条件的行前插入文本⚠️(与选项中的-i要区分开)(insert)
d：把满足条件的行全部删除(delete)
c：用新文本替换匹配范围内的所有行⚠️(是把所有行全部替换新文本，而不是逐行替换)(copy)
s：用新文本替换匹配上的字符串(部分替换)(seperate)
g: 对每行进行执行全局匹配(global)
⚠️s一般和g一起使用，如果一行出现多个正则匹配项，单独使用s命令，只会替换每一行第一个匹配项，如果在命令末端添加g，则可以替换每一行全部的匹配项

y: 转换命令，字符按照一对一的方式从左到右进行转换不能对正则表达式使用此命令，例如：y/abc/ABC/，会将a转换成A,b转换成B,c转换成C。(Transliterate转译，可以利用译的拼音yi的首字母)
p: 打印命令，用于显示模式缓存区的内容。(print)
q: 结束命令，处理到匹配行后sed程序不再执行(quit)
示例

#匹配root行 与匹配bin行之间所有内容，在每一行的后面追加一行test字符串
sed '/root/,/bin/a test' /etc/passwd
#第一行和第一个匹配bin行之间的所有内容，在每一行的前面插入一行test字符串 
sed '1,/bin/i test' /etc/passwd 
#删除第一行至第五行的所有内容
sed '1,5d ' /etc/passwd
#将匹配root行到第5行的所有内容替换成 test
sed '/root/,5c test' /etc/passwd
#将所有内容中 root替换成newroot
sed 's/root/newroot/g' /etc/passwd
#只打印执行了上边处理命令的行
#⚠️如果sed采用安静模式时sed -n,后序的处理命令是替换命令s时，需要配合p命令使用才可以打印出处理过的行，否则将无任何输出
sed -n 's/root/newroot/gp' /etc/passwd

3.3多行处理命令（进阶）

上面我们提到了，sed命令是将每一行的内容读到一个叫模式空间的缓冲区里，然后执行命令。并且如果sed执行N/D/P 三个命令，还会形成多行处理的模式空间，但是多行处理时某些场景可能需要保存模式空间中被处理的内容，这里就引入了另外一个缓存空间--保持空间。
保持空间用于保存模式空间的内容，两个空间中的内容可以相互复制

命令	说明	记忆
h/H	将模式空间的内容复制或者追加到保持空间	hold
g/G	将保持空间的内容复制或者追加到模式空间	get
x	交换两个空间的内容	exchange

小写是覆盖目的空间的内容，大写是追加到目的空间，追加的内容前加\n区别于原有内容
经典例子：
如何利用sed替换换行符？

sed 'H;$!d;${x;s/^\n//;s/\n/,/g}' /etc/passwd

解析：H将每一行追加到保持空间，$!d对不是最末一行的都执行删除操作，主要是利用d命令打断常规的命令执行流程，让sed继续读入新的一行，直接到最后一行都放在保持空间，x将保护空间与模式空间模式对调，s/^\n//去掉空行，s/\n/,/g将换行符替换成逗号

3.4流程控制(进阶)

sed提供了分支命令b(branch)和测试命令test两个命令来控制流程，可以实现类似与C++中goto语法的想过，跳转到指定标签位置继续执行命令。标签是以符号 : 为开头

命令	说明	区别
b label	跳转到分支label处，如果label不存在则索引到命令尾部	在匹配行进行无条件跳转
t label	在最后读取完最后一行输入或者上一次执行t命令之后，成功执行了一次s///语句，分支到label,如果label不存在则索引到命令尾部	需要成功执行一次s替换语句才可跳转，即有条件跳转

用法如下：

基本用法

':lable;command1;command2;/pattern/b lable;command3'

执行到pattern/b lable时，如果匹配，则跳转到头，继续执行command1，如果不匹配，则往下执行command3

仿if流程控制

'command1;/pattern/b if;commad2;b;:if;command3'

执行/pattern/b if，如果匹配则执行commad3，如果不匹配则执行command2，然后跳到最后(分支命令如果后边不接标签，则默认位置为最后)

只利用模式空间将换行符替换成","方法有很多中，命令也有很多种

#利用test标签
sed ':label;$!N;s/\n/,/g;t label' /etc/passwd
#利用branch标签
sed ':label;$!N;s/\n/,/g;$!b label' /etc/passwd
#利用y转换命令,由于只转换一个字符
sed ':label;$!N;y/\n/,/;$!b label' /etc/passwd

4.awk

4.1awk文本处理流程

首先，我们需要了解awk命令处理文本的流程，awk从输入中读入数据时，工具RS会讲输入分割为许多记录(records)，awk的每一次循环都会读取一个record进行处理。
awk默认的记录分隔符(RS)为换行符，因此缺省记录分隔符，awk一次处理一行。
在处理每一行时，awk会将根据字符分隔符(FS)分割读入的记录文本，分割成列。
awk默认的字段分隔符是空格，所以，awk默认会根据空格或者连续几个空格划分每一个记录。

abc def   hidk
|1 | 2  |  3   |
|       0      |
$0代表整条记录，$1表示第一列，$2表示第二列

命令格式：awk [options] 'pattern {actions}' filename

4.2常用option

-F：字段分隔符，⚠️大写（field-separate）
-v：设置变量（var）可以设置内置变量，也可以设置自定义变量

awk -F":" '{print $1}' /etc/passwd
awk -v FS=":" '{print $1}' /etc/passwd

上段代码是自定义字段分隔符的两种模式，一个是利用的-F直接设置字段分隔符，一个利用的是-v设置awk内置变量，字段分隔符的内置变量名是FS。
下面列举一下awk常用的内置变量：

内置变量名	说明
RS	输入记录分隔符的值，缺省值为\n
ORS	输出记录分隔符的值，缺省值为\n
FS	输入字段分隔符的值，缺省值为空格
OFS	输出字段分隔符的值，缺省值为空格
FNR	每个文件已经处理的记录数，多文本处理时，切换文件时，此值都会重置
NR	已经处理的累计记录书，多文本处理时，切换文件，此值依然不会重置
NF	当前行的字段的个数
FILENAME	当前处理的文件名
ARGC	表示命令行中除了选项和选项参数以外的所有参数的个数,awk命令也算一个参数，表示命令名位置是ARGV[0]
ARGV	数组，记录命令行中的参数，数组下标从0开始

awk通过-v对多个内置变量进行设置

多字段分隔符的应用

根据上图很明显可以看到：
FS='[/:]' 表示的是[]中的如果一段记录中有字符是/或:都将分隔
FS='[/:]+' 表示的是如果一段记录中存在/或:或二者的任意组合，都可进行分割。

4.3常用命令

4.3.1BEGIN和END

命令是pattern+actions的合集，pattern可以是正则表达式，也可以是布尔表达式，还可以是两个特殊的模式：BEGIN和END

BEGIN模式，允许用户在初始化文本之前执行BEGIN代码块，多用于初始化内置变量，初始化以后程序用到的全局变量等
END模式，允许用户在处理完所有行之后执行END代码块，多用于执行最终计算或者打印提示信息等
最长用到的BEGIN代码块，以初始化字段分隔符为例：
未使用BEGIN模式
使用了BEGIN模式
区别在于第一行，因为如果没有使用BEGIN时，awk处理第一条记录时使用的是默认字段分隔符，FS是在执行第一条命令时设置的，这个时候第一条记录已经完成分隔，所以从第二行才生效。

4.3.2pattern

除了BEGIN和END两个特殊匹配模式，还有正则表达式/REG/actions，和布尔表达式/bool /actions。

awk '/root/{print $0}' /etc/passwd#正则表达式
awk 'NR==3{print $0}' /etc/passwd #布尔表达式

4.3.3命令中的actions

awk是类似与shell的脚本编程语言，既然是编程语言，就必须支持最基本的变量定义以及必要的流程控制。

4.3.3.1独立运行的脚本

awk 有一个叫做-f的选项注意和-F加以区分 ，这个选项可以接awk源码文件，在Linux及UNIX中凡是#!后边跟的统统是加载器（解释器）的路径，所以我们可以通过这一特性创建属于我们自己的awk文件,利用which确定自己的awk路径，例如/bin/awk

#!/bin/awk -f
BEGIN {print "i'm awk file"}

命令为test.awk,然后通过chmod 命令添加可执行权限，然后运行./test.awk

注意：awk文件中是多个'pattern{actions}'组成，不能在文件中指定处理参数options，也不能指定处理文件，处理文件在文件命令外部执行，例如 ./test.awk /etc/passwd

通过shell脚本调用

#!/bin/bash
awk -F ":" '{
#actions
}
' /etc/passwd

实际上就是将awk命令分行编写不需要加";"进行命令分割，有利于阅读

4.3.3.2变量

数组
awk中的数组都是关联型数组，类似与C++中的map结构，所以无论是什么索引最终都会被转换成字符串索引进行存储。

#!/bin/awk -f
BEGIN {
list[0]="abc"
list[1]="def"
list[2]="xyz"
print list[0]
print list[1]
print list[2]
}

4.3.3.3流程控制

如果你有C语言基础，阅读awk命令毫无障碍

if语句

#!/bin/awk -f
BEGIN {
list[0]="abc"
list[1]="def"
list[2]="xyz"
if( "def" == list[0] ){
    print "index 0 "list[0]
}
else if("def" == list[1]){
    print "index 1"list[1]
}
else{
    print"index nothing"
}
}

循环语句while
awk支持的循环语句是"do... while"类型，即中间代码至少需要执行一次，如果不满足条件一次都不自信，可以在循环外嵌套条件语句作为第一次进入的条件。

#!/bin/awk -f
BEGIN {
list[0]="abc"
list[1]="def"
list[2]="xyz"
count=0
do{
    print list[count]
    count++
}while(count<3)
}

循环语句for
awk中支持两种for循环
1.for(initial ;comparison;increment){}
2.for(index in array){}
第二种仅用于array

#!/bin/awk -f
BEGIN {
list[0]="abc"
list[1]="def"
list[2]="xyz"
for(i=0;i<3;i++){
   print list[i]
}
for( i in list){
   print list[i]
}
}

break和continue
与C语言中的break和continue用法完全一致这里就不再赘述
next命令
告诉awk跳过后边所有的代码段，直接处理下一记录，命令有助于提高代码的运行速度。比如代码段运行break后不再对当前行进行处理时，可以用next代替，直接进行下一记录的编辑。

4.3.3.4函数(进阶)

拥有函数语法是awk被称为语言的重要原因之一

1.自定义函数

格式为：function name(arg1,arg2,...){statements}
参数列表由逗号分割，参数默认为局部变量，无法在函数之外访问，但是⚠️⚠️在函数内部定义的变量是全局变量，是可以在函数之外访问

#!/bin/awk -f
function fun(a){
  b=a
  print "a in function = "a
}
BEGIN {
  print "b before func = "b
  fun("test")
  print  "a = "a
  print  "b = "b
}

2.库函数

1.数学函数

函数名	说明
srand(n)	设置随机种子，默认为当前时间为种子
rand()	返回[0,1)中的一个随机值，注意不包含1
int(n)	强制转化成整数，当不是数字时，返回数值为零
sqrt(n)	绝对值函数
sin(n)	正弦
cos(n)	余弦
exp(n)	e的n次方的指数
log(n)	e的n次对数

2.字符串函数

函数名	说明
sub(pattern,repl[,in])	将in(输入)中的pattern内容替换成repl,只替换第一个匹配的substring
gsub(pattern,repl[,int])	和sub功能类似，但是是全局替换
length([,in])	字符串长度，如果没有指定，默认使用$0
index(s,t)	字符串t在s第一次出现的位置，位置从1开始计算，如果没找到返回0
match(s,pattern[,array])	找到s中pattern匹配的起始位置，并返回，位置从1开始计算，不匹配返回0，`函数定义了两个全局的内置变量RSTART和RLENGTH，RSTART与返回值相同，RLENGTH记录匹配子串的长度,如果没有找到，此值为-1`1.没有array的情况下，通过pattern匹配，在s中寻找最左边，最长substring，返回的就是substring的index；2.存在array的情况下，将pattern中用()匹配的内容按照顺序放入array中，array[1]代表第一个()中的内容
split(s,array[,fs])	字符串根据fs切分s字符串然后存入array中，fs的缺省值为内置变量FS的值
strsub(s,m[,n])	返回从位置m开始，长度为n的字串，位置从1开始
tolower(s)	全部变成小写
toupper(s)	全部变成大写
spritf(format,arg,...)	格式化输出

sub与gsub直观区别

3.时间函数

命令名称	说明
mktime(datespec)	参数按照(YYYY" "MM" "DD" "HH" "MM" "SS)`注意空格分割，空格需要双引号包围`
strftime([format [, timestamp[, utc-flag]]])	将时间戳格式化后自定义输出，utc缺省值为本地时间，格式化模式字符与ANSI C的strftime一致
systime()	返回当前的时间戳

三剑客grep,sed,awk

1.概述

2.grep

2.1常用的option `()内是笔者记忆的窍门`

2.2常用的正则表达式

3.sed

3.1常用的option `()内是笔者记忆的窍门`

3.2常用处理命令

3.3多行处理命令（进阶）

3.4流程控制(进阶)

4.awk

4.1awk文本处理流程

4.2常用option

4.3常用命令

4.3.1BEGIN和END

4.3.2pattern

4.3.3命令中的actions

4.3.3.1独立运行的脚本

4.3.3.2变量

4.3.3.3流程控制

4.3.3.4函数(进阶)

1.自定义函数

2.库函数

1.数学函数

2.字符串函数

3.时间函数

猜你喜欢

热点阅读

三剑客grep,sed,awk

1.概述

2.grep

2.1常用的option ()内是笔者记忆的窍门

2.2常用的正则表达式

3.sed

3.1常用的option ()内是笔者记忆的窍门

3.2常用处理命令

3.3多行处理命令（进阶）

3.4流程控制(进阶)

4.awk

4.1awk文本处理流程

4.2常用option

4.3常用命令

4.3.1BEGIN和END

4.3.2pattern

4.3.3命令中的actions

4.3.3.1独立运行的脚本

4.3.3.2变量

4.3.3.3流程控制

4.3.3.4函数(进阶)

1.自定义函数

2.库函数

1.数学函数

2.字符串函数

3.时间函数

猜你喜欢

热点阅读

2.1常用的option `()内是笔者记忆的窍门`

3.1常用的option `()内是笔者记忆的窍门`