使用方法

awk [options] 'script' var=value file(s)
awk [options] -f scriptfile var=value file(s)

例：

awk 'BEGIN{
  print "start" 
}
pattern{ 
  commands 
} 
END{
  print "end"
 }' file(s) > output.txt

基本语法

模式与操作

• 模式
  可以是以下任意一个：
  1. /正则表达式/：使用通配符的扩展集。
  2. 关系表达式：使用运算符进行操作，可以是字符串或数字的比较测试。
  3. 模式匹配表达式：用运算符_{（匹配）和}!（不匹配）。
  4. BEGIN语句块、pattern语句块、END语句块：参见awk的工作原理
• 操作
  操作由一个或多个命令、函数、表达式组成，之间由换行符或分号隔开，并位于大括号内，主要部分是：
  1. 变量或数组赋值
  2. 输出命令
  3. 内置函数
  4. 控制流语句

流程控制

内置变量

变 量	描述
$n	当前记录的第n个字段，字段间由 FS分隔。
$0	完整的输入记录。
ARGC	命令行参数的数目(argument count)。
ARGIND	命令行中当前文件的位置(从0开始算)。
ARGV	包含命令行参数的数组。(argument variable)
FILENAME	当前文件名。
NF	当前记录中的字段数。(number of fields)
NR	当前记录数。(number of record)
FNR	同 NR，但相对于当前文件。(file number of record)
FS	字段分隔符(默认是任何空格)。(field seperator)
OFS	输出字段分隔符(默认值是一个空格)。(output field seperator)
RS	记录分隔符(默认是一个换行符)。(record seperator)
ORS	输出记录分隔符(默认值是一个换行符)。(output record seperator)
OFMT	数字的输出格式(默认值是%.6g)。(output format)
CONVFMT	数字转换格式(默认值为%.6g)
ENVIRON	环境变量关联数组。
ERRNO	最后一个系统错误的描述。
FIELDWIDTHS	字 段宽度列表(用空格键分隔)。
IGNORECASE	如 果为真，则进行忽略大小写的匹配。
RSTART	由 match函数所匹配的字符串的第一个位置。
RLENGTH	由 match函数所匹配的字符串的长度。
SUBSEP	数组下标分隔符(默认值是\034)。

内置函数

字符串函数

函数名	描述
sub	匹配记录中最大、最靠左边的子字符串的正则表达式，并用替换字符串替换这些字符串。如果没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的 时候
gsub	整个文档中进行匹配
index	返回子字符串第一次被匹配的位置，偏移量从位置1开始
substr	返回从位置1开始的子字符串，如果指定长度超过实际长度，就返回整个字符串
split	可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供，则按当前FS值进行分割
length	返回记录的字符数
match	返回在字符串中正则表达式位置的索引，如果找不到指定的正则表达式则返回0。match函数会设置内建变量RSTART为字符串中子字符串的开始位 置，RLENGTH为到子字符串末尾的字符个数。substr可利于这些变量来截取字符串
toupper和tolower	可用于字符串大小间的转换，该功能只在gawk中有效

数学函数

函数名	返回值
atan2(x,y)	y,x 范围内的余切
cos(x)	余弦函数
exp(x)	求 幂
int(x)	取整
log(x)	自然对 数
rand()	随机数
sin(x)	正弦
sqrt(x)	平 方根
srand(x)	x是rand()函数的种子
int(x)	取 整，过程没有舍入
rand()	产生一个大于等于0而小于1的随机数

其他函数

函数名	描述
print	普通打印，使用规定的分割符
printf	格式化打印
system	执行系统命令

关键字

关键字	描述
print	普通输出，使用规定的分割符
printf	格式化输出
system	调用系统命令，传入字符串（双引号）

与系统交互

打印系统命令执行结果

awk '{
a = system("ls")；
"ls"; # 效果与system("ls")相同
print a;
}' test.txt 
# 打印ls命令的标准输出，返回命令的执行结果(0或非0），赋值给变量a

获取系统命令标准输出

如果希望用变量接住系统命令的标准输出，则需要使用getline关键字

awk '{
    "ls -l" | getline line ; # 多行的情况下，指获取一行
    print line; 
    getline line
    print line; 
}' test.txt 
# 打印ls命令的标准输出，返回命令的执行结果(0或非0），赋值给变量a

关于getline

1. 当getline左右没有重定向符|或<时，getline读去当前文件的第一行并将数据保存到变量中，如果没有变量，则数据保存到$0中；
   由于awk在处理getline之前已经读入了一行，所以getline得到的返回结果是隔行的。

2. 当getline左右有重定向符|或<时，getline作用于定向输入文件，由于该文件是刚打开，awk并没有读入一行数据，而getline读入了一行数据，那么getline返回的是该文件的第一行，而不是隔行。

3. awk和getline是分别取数据文件中的行数据，而且是awk首先从数据文件中取数据，后getline取下一行数据。

getline的影响值

形式	影响值
getline	$0,NF,NR,FNR
getline var	var,NR,FNR
getline<file	1…$NF，NF
getline var<file	var
cmd | getline	$0,NF
cmd | getline var	var

参考

awk

awk命令详解

Unix awk使用手册

awk的getline命令