Shell文本三剑客--awk

2020-11-02  本文已影响0人  小啊小狼

awk简介

awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。

awk命令格式和选项

调用awk语法格式

1.命令行方式
awk [-F  field-separator]  '条件 commands'  input-file(s)
其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件，条件成立才会执行commands。
在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

2.shell脚本方式
将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。
相当于shell脚本首行的：#!/bin/sh
可以换成：#!/bin/awk

3.将所有的awk命令插入一个单独文件，然后调用：
awk -f awk-script-file input-file(s)
其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

1.条件（Pattern）：

一般使用关系表达式作为条件。这些关系表达式非常多，具体参考下表。

awk 支持的主要条件类型

条件类型 条 件 说 明
awk 保留字 BEGIN 在 awk 程序一开始，尚未读取任何数据之前执行。BEGIN 后的动作只在程序开始时执行一次
awk 保留字 END 在 awk 程序处理完所有数据，即将结束时执行？END 后的动作只在程序结束时执行一次
关系运算符 > 大于
关系运算符 < 小于
关系运算符 >= 大于等于
关系运算符 <= 小于等于
关系运算符 == 等于。用于判断两个值是否相等。如果是给变童赋值，则使用"=”
关系运算符 != 不等于
关系运算符 A~B 判断字符串 A 中是否包含能匹配 B 表达式的子字符串
关系运算符 A!~B 判断字符串 A 中是否不包含能匹配 B 表达式的子字符串
正则表达式 /正则/ 如果在“//”中可以写入字符，则也可以支持正则表达式

例如：
x>10：判断变量 x 是否大于 10；
x == y：判断变量 x 是否等于变量 y；
A~B：判断字符串 A 中是否包含能匹配 B 表达式的子字符串；
A!~B：判断字符串 A 中是否不包含能匹配 B 表达式的子字符串；

2.awk内置变量

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

变量名 释义
ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符，等价于命令行 -F选项
NF 浏览记录的域的个数（按分割符分割的区域数）
NR 已读的记录数（当前行数）
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符

此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推。

awk的条件用法

#student.txt
ID Name    PHP   Linux  MySQL Average
1  Liming  82      95    86    87.66
2  Sc      74      96    87    85.66
3  Gao     99      83    93    91.66
4  xy      100.00     50    60    70
1) BEGIN

BEGIN 是 awk 的保留字，是一种特殊的条件类型。BEGIN 的执行时机是"在 awk 程序一开始，尚未读取任何数据之前"。

一旦 BEGIN 后的动作执行一次，当 awk 开始从文件中读入数据时，BEGIN 的条件就不再成立，所以 BEGIN 定义的动作只能被执行一次。

[root@liang shell]# awk 'BEGIN{printf "This is a transcript\n"} {printf $2 "\t" $6 "\n"}' student.txt
This is a transcript
Name    Average
Liming  87.66
Sc      85.66
Gao     91.66
xy      70

这里定义了两个动作

2) END

END 也是 awk 的保留字，不过刚好和 BEGIN 相反。END 是在 awk 程序处理完所有数据，即将结束时执行的。END 后的动作只在程序结束时执行一次。例如：

[root@liang shell]# awk 'END{printf "The End \n"} {printf $2 "\t" $6 "\n"}' student.txt
Name    Average
Liming  87.66
Sc      85.66
Gao     91.66
xy      70
The End
3)关系运算符

【例 1】成绩大于等于87分的学生的名字

[root@liang shell]# cat student.txt | grep -v Name | awk '$6 >= 87 {printf $2 "\n"}'
Liming
Gao

使用cat输出文件内容，用grep取反包含"Name"的行
判断第六个字段（平均成绩）大于等于87分的行，如果判断式成立，则打印第六列（学员名）

【例 2】Sc 用户的平均成绩

[root@liang shell]# awk '$2 -/Sc/ {printf $6 "\n"}' student.txt 
85.66

如果第二个字段中包含"Sc"字符，则打印第六个字段
这里要注意，在 awk 中，只有使用"//"包含的字符串，awk 命令才会査找。也就是说，字符串必须用"//"包含，awk 命令才能正确识别。

【例3】linux成绩大于90分，打印name is a good student

[root@liang shell]# cat student.txt | awk 'NR>=2 && $4>90 {print $2" is a good student"}'
Liming is a good student
Sc is a good student

先判断行号，如果大于 2
再判断成绩，如果 linux 的值大于 90 分，就打印好学生

【例4】统计每一科的总分和平均分
脚本比较长，可以写在一个文件中（student_count.awk） -f指定文件执行

#!/usr/bin/awk -f

BEGIN{
    printf "%-10s%-10s%-10s\n", "course", "total","average"
}

{   
    if (NR==1){
        name1 = $3
        name2 = $4
        name3 = $5
    } else{
        total[name1] +=$3
        total[name2] +=$4
        total[name3] +=$5
    }
   
    line = NR-1
} 

END{
    for (u in total)
    {
        printf "%-10s%-10s%-10s\n", u, total[u],total[u]/line
    }
    
}

BEGIN打印表头，然后对每一行数据进行处理，如果当前是第一行，先把所有读取到的科目名称赋值给变量，非第一行，创建一个数组，把对应科目的分数累加，end格式化输出
执行命令输出：

[root@liang dev04_shell_04]# awk -f student_count.awk student.txt 
course    total     average   
MySQL     326       81.5      
PHP       355       88.75     
Linux     324       81
4) 正则表达式

当使用 df 命令査看分区的使用情况时，如果我只想査看已tmp开头的分区的使用情况，则可以这样做：

[root@liang shell]# df -h | awk '/^tmp/ {printf $1 "\t" $5 "\n"}'
tmpfs   0%
tmpfs   1%
tmpfs   0%
tmpfs   0%

正则表达式具体用法此处不展开讲述

命令写法规范：

awk执行过程分析

上一篇下一篇

猜你喜欢

热点阅读