Linux Shell：awk文本处理工具，Linux的SQL神

2021-12-14 本文已影响0人 xiaogp

摘要：Linux，Shell，awk

awk简介

awk是一个强大的文本分析工具，尤其是对linux中的结构化二维表数据可以实现类似SQL的检索，统计，替换功能。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理，简单而言awk等于遍历，正则，逻辑判断，操作的shell代码集合

功能支持：文本匹配，文本转化，文本统计分析
操作对象：文件或者标准输入
工作方式：逐行扫描文件，从第一行到最后一行，执行匹配和操作逻辑

awk语法

（1）awk基本语法快速开始

awk的基本语法如下

awk 'pattern' filename
awk '{action}' filename
awk 'pattern {action}' filename

其中pattern代表匹配条件，action代表匹配到之后的操作，filename代表文件，其中filename（或者标准输入输出）必不可少，pattern和action二者必须有其中一个，否则无法运行。一共支持三种方式，表明awk支持文件匹配（结合正则或者关系运算匹配），文件操作和对匹配到的内容做操作。除了对文件操作之外，一种常用的是用在标准输入输出上

echo 'something' | awk '{action}'

下面分别对4中方式进行测试
1.只有匹配条件
如果只有匹配条件则打印出所有符合条件的整行，匹配方式可以为正则匹配，在正则表达式前后加上/pattern/

awk '/test/{print $0}' /etc/group
docker:x:999:test
test:x:1001:

另一种是条件过滤匹配，例如精确匹配第一个元素为docker的行，精确匹配需要对匹配内容加双引号，不需要/pattern/

awk 'BEGIN{FS=":"}$1=="docker"{print $0}' /etc/group
docker:x:999,test

其中awk整体匹配+操作语句使用单引号括起来，语句内部有字符需要精确匹配使用双引号括起来，$1是被分割后每行的第一个元素，索引从1开始，$0代表整行

2.只有操作模式
这种不对行做筛选直接操作，操作的模式最常用的是调用打印函数print，比如打印分割之后的第一个元素

awk 'BEGIN{FS=":"}{print $1}' /etc/group
root
daemon
bin
sys

如果想打印多个元素可以写多个$n，例如解析一个日志，以空格分割后取整个字段字符串

awk '/label'\'': 1/{print $6 $7 $8 $9 $10 $11 $12 $13}' details.log
{'ent_name':'海航科技股份有限公司','bad_date':'2020-06-01','predict_date':'2020-03-03','label':1}
{'ent_name':'抚顺特殊钢股份有限公司','bad_date':'2018-12-01','predict_date':'2018-09-02','label':1}
{'ent_name':'东旭光电科技股份有限公司','bad_date':'2020-02-01','predict_date':'2019-11-03','label':1}

另一种输出连续列的方法是调用C语法循环语句，使用printf打印结尾不带换行符直接追加打印

awk '/label'\'': 1/{for (i=6;i<=13;i++)printf $i" ";printf "\n"}' details.log

3.匹配条件+操作模式
两者结合先筛选出符合的行再做统一操作，例如筛选包含docker的行输出第一个元素

awk 'BEGIN{FS=":"}/docker/{print $1}' /etc/group
docker

4.对标准输入进行操作
可以对标准输出做awk操作，产生标准输出的方式有cat，echo等，以及可以在控制台输出的工具，例如
使用cat的输出

cat /etc/group |awk 'BEGIN{FS=":"}{print $1}'
root
daemon
bin
sys
adm

使用echo的输出

echo "1 2 3 4" |awk '{print $2}'
2

使用其他命令到控制台的输出，比如使用/usr/local/bin/下的自定义工具getip输出IP

getip |awk 'BEGIN{FS="."}{print $1}'
192

比如docker images命令的输出筛选镜像

docker images | awk '/mysql/'
mysql                                        5.7                            09361feeb475   5 months ago    447MB
mysql                                        latest                         5c62e459e087   5 months ago    556MB

awk命令参数

awk命名可以在上面的基础上增加可配参数，常用参数如下

命令选项	描述
-F	指定文本分隔符，默认是Tab或者空格
-v	在复杂逻辑中设置变量
' '	引用代码块
-f	-f或者-file，从脚本文件中读取awk命令
BEGIN	初始化代码块，在每一行处理之前运行，设置处理逻辑的全全局变量
END	结尾代码块，在每一行处理完之后再执行，输出最终的计算结果
{}	代码块，编写处理逻辑，BEGIN和END后面也需要{}

对其中几个进行测试，-F文本问个符号

echo "1,2,3,4" |awk -F "," '{print $2}' 
2

awk -F ":" '{print $1}' /etc/group
root
daemon
bin
sys

BEGIN用于在awk匹配逻辑之前设置全局变量，必须大写例如设置内置分隔符

awk  'BEGIN{FS=":"}{print $1}' /etc/group

也可以设置自定义变量，变量的命名由用户自定义，如果有多个变量中间用分号;隔开，在引用的时候action中直接引用变量名（不加$）,如果是纯串不需要引用用双引号括起来

awk 'BEGIN{FS=":";v1="用户组是"}{print v1$1}' /etc/group
用户组是mysql
用户组是docker
用户组是test

-v设置awk全局变量，可以在action中引用设置的变量，效果和在BEGIN中设置一样

awk  -v v1="用户组是:" -v v2=" gid是" 'BEGIN{FS=":"}{print v1$1v2$2}' /etc/group
用户组是:mysql gid是x
用户组是:docker gid是x
用户组是:test gid是x

END用于在遍历完每一行后进行一个计算操作，最终得出全部计算结果，例如统计总共遍历了多少行

awk 'BEGIN{FS=":";cnt=0}{cnt+=1}END{print cnt}' /etc/group
71

这个和cat /etc/group |wc -l结果一致，进一步可以将计算结果写入文件

awk 'BEGIN{FS=":";cnt=0}{cnt+=1}END{print cnt}' /etc/group > cnt.txt

（2）awk内置变量

对于awk来说变量又分为内置变量和自定义变量，awk中包含很多内置变量，比如说-F命令默认的分隔符是Tab或者空格，实际上就是awk的内部变量FS来控制的，内置变量的目的是在awk逻辑中进行修改和引用，常用的内置变量如下

变量名	描述
$0	当前记录，整个一行记录
$1~$n	当前记录被分隔符分割之后的元素，根据索引位置排
FS	字段分隔符默认是空格
NF	字段个数，就是有多少列
NR	行号，从1开始
RS	记录之间的分隔符，默认是换行符
FILENAME	当前输入文件的名字
IGNORECASE	如果为真，则进行忽略大小写的匹配

刚才在BEGIN中已经测试使用了内置变量FS，以及$0和$1等，现在测试以下字段个数，行号，以及忽略大小写
NF可能是num of feature

echo '1 2 3 4' |awk '{print NF}'
4

NR显示行号，比如选取70行以上的

awk 'BEGIN{FS=":"}NR>70{print $0}' /etc/group
test:x:1001:

复杂一点取偶数行，直接拿到NR计算即可，这个等于判定符号对整数和字符通吃

awk 'BEGIN{FS=":"}NR%2==0{print $0}' /etc/group

IGNORECASE忽略大小写，比如用在精确匹配中大写匹配规则可以匹配小写内容

awk 'BEGIN{FS=":";IGNORECASE=1}$1=="Docker"{print $0}' /etc/group
docker:x:999:test

具体是将IGNORECASE加入BEGIN中，1是开启，0是关闭，默认关闭

（3）pattern语法

pattern部分分为正则表达式和条件过滤，正则举几个例子即可

正则匹配部分

^符号匹配行首，比如查看ls的是文件夹的

ll |awk /^d/
drwxr-xr-x  5 root     root           4096 12月  9 17:25 ./
drwxr-xr-x 62 root root       4096 12月 13 14:36 ../
drwxr-xr-x  4 root     root           4096 7月  29 18:48 bisai/
drwxrwxr-x  2 root root       4096 2月  20  2019 docker/

$匹配结尾，比如在echo中使用-e激活换行符，匹配以f结尾的行

echo -e "dsd\nsdslhf\nssdf\n" |awk '/f$/'
sdslhf
ssdf

[ ]匹配字符集，可以完成多个字符集中任何一个字符的匹配，比如匹配以d或者s开头的并且第二个字符是s的结果

echo -e "dsd\nkdslhf\nssdf\n" |awk '/^[ds]s/'
dsd
ssdf

[^ ]排他设置，和字符集匹配相反，只要不在指定的字符集内其他的都算匹配到，比如匹配首字母不是k和s的所有行

echo -e "dsd\nkdslhf\nssdf\n" |awk '/^[^ks]/'
dsd

再比如包含匹配，只要行中包含精确匹配的内容，对输出筛选包含do字眼的

ll |awk /do/
drwxrwxr-x  2 root root       4096 2月  20  2019 docker/
-rw-r--r--  1 root     root       43844133 10月  8 06:17 docker-18.06.3-ce.tgz
-rw-r--r--  1 root     root           1200 10月 14 08:53 docker.services

match函数：macth可以返回指定要匹配内容，类似通用的正则表达式，格式如下

match($0,/pattern/,a);action

在match函数中最后一个元素定义了一个a数组，使用print输出a的第一个匹配元素a[1]，如果是a[0]就是匹配到的行

ifconfig wlp2s0|grep netmask |awk '{match($0,/([0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})/,a); print a[1]}'
192.168.43.59

记录一个转义问题，如果要匹配单引号，语句如下，先\转移再用小括号括起来

echo ''\''123'\''' |awk '/'\''/'
'123'

条件过滤部分

条件过滤部分可以实现单分之和多分支逻辑，语法如下

awk 'BEGIN{}条件{action}END{}'

例如统计每行第三个字段是工商的行数，相当于SQL的select count... where...

awk '$3=="工商"{i++}END{print i}' reason_code.txt
21

其中$3=="工商"是条件放在最前面，{i++}是action初始的变量i为0，最后调用print打印出统计值，在这个基础上再增加一个条件，第四列是高的，相当于select count... where...and...

awk '$3=="工商"&&$4=="高"{i++}END{print i}' reason_code.txt
6

使用&&完成条件的交集，同理并集使用||，也可以完成检索展示的工作，例如检索A列等于某值时B列的值

awk '$3=="工商"{print $2}' reason_code.txt 
企业经营年限
法定代表人变更
企业机构类型
高层变动

（4）action语法

action对每一行过滤后的结构进行操作，最简单的就是打印，除此之外可以在这一步完成统计分析的逻辑编写
awk还可以实现select sum的功能，对一列累加求和

awk -F "," '{sum+=$2}END{print sum}' pira_label_score.txt 
1315

使用action可以实现类似SQL group by的功能，分组统计个数，类似于select count(1) group by，比如

awk '{x[$3]+=1}END{for(i in x){print i,x[i]}}' reason_code.txt 
财务 5
税务 1
工商 21

实现的方式是在action中定义一个关联数组x（字段），然后往里面添加key和+1，在END中再遍历一次即可，如果不使用awk而是写shell定义数组和遍历需要很长一段，如下

#/bin/bash
unset x
declare -A x

while read line
do
    key=`echo $line |awk -F ' ' '{print $3}'`
    x[$key]=$[${x[$key]}+1]
done<reason_code.txt

for i in ${!x[@]}
do
    echo $i,${x[$i]}
done

在action里面可以加入条件筛选，相当于action也可以包含pattern的功能，比如统计出每行第三个字段是工商的行数，相当于SQL的select count ...where...

awk '{if($3=="工商")i++}END{print i}' reason_code.txt
10

再加一个分之判断，统计一下工商和征信，多个判断条件之间要用;分号隔开，如果不用分号需要将条件判断后面的代码加{}代码段

awk '{if($3=="工商") i++; else if($3=="征信") j++;}END{print i,j}' reason_code.txt
21 10

同样除了统计刚才这个awk逻辑还可以完成替换打印输出，相当于case when

awk '{if($3=="工商")print "数据源是工商"; else if($3=="债股")print "数据源是债股"; else print "数据源是其他"}' reason_code.txt
数据源是其他
数据源是工商
数据源是其他
数据源是其他

也可以实现类似SQL的功能，检索每行第三个元素是工商的第一个字段，太强了，感觉这个非常实用，相当于select ... where...

awk '{if($3=="工商")print $2}' reason_code.txt 
企业经营年限
法定代表人变更
企业机构类型
高层变动

再举一个例子，将第二列大于等于9的第一列筛选出来写入一个文件

awk -F "," '{if($2>=9)print $1}' pira_label_score.txt > awk.txt
cat awk.txt 
1000053
1000088
1000089
1000116
1000205
1000229

实际上action可以一步到位，将条件和操作全部写在action里面，多条件分之注意在else，else if之前增加分号

awk常用任务

获取配置文件中某个key的value，例如有一个config.yml

cat config.yml 
mysql_host: 172.17.0.1
mysql_port: 3306
mysql_user: xiaogp
mysql_password: ******

现要从中获取其中的mysql_host

awk -F ':' '$1=="mysql_host"{gsub(" ","",$0);print $2}' config.yml 
172.17.0.1

其中gsub用来替换空格，顺序为先调用gsub去除空格，在使用-F进行分割，再判断$1=="mysql_host，因此如果写成-F ': '（冒号空格）就无法分割导致$1=="mysql_host匹配不上为空