AWK是门大学问(中)

2019-04-30 本文已影响128人刘小泽

刘小泽写于19.4.30
继续探索AWK

内置变量

FS-Field Separator

默认的分隔符是空格(但是数量不限，于是tab分割也包含在内)，如果要自己制定，可以用-F，例如

awk -F ',' '{print $2, $3}' employee.txt

利用内置的变量FS也可以实现，需要在BEGIN{}中实现，比如

awk 'BEGIN {FS=","} {print $2, $3}' employee.txt

但是，使用-F更加灵活，可以使用单引号、双引号或者不用引号；使用FS就必要用双引号

在BEGIN或者END中可以使用多个命令，比如在开头指定分隔符，并且打印标题

需要注意的是，BEGIN或END中多个命令之间用分号分隔

awk 'BEGIN { FS=","; \
print "-------------\nName\tTitle\n-------------" } \
{ print $2,"\t",$3; } \
END {print "-------------"}' employee.txt

下面再新建一个文件，其中包含多种分隔符, : %

cat >employee-multiple-fs.txt
101,John Doe:CEO%10000
102,Jason Smith:IT Manager%5000
103,Raj Reddy:Sysadmin%4500
104,Anand Ram:Developer%4500
105,Jane Miller:Sales Manager%3000

遇到这种文件也不用担心，只需要利用正则表达式来指定多个FS，比如FS = "[,:%]" 表示分隔符可以是逗号、分号或者百分号，因此，如果要打印第2、3列的姓名和职位，就可以

awk 'BEGIN {FS="[,:%]"} {print $2, $3}' \ employee-multiple-fs.txt
John Doe CEO
Jason Smith IT Manager
Raj Reddy Sysadmin
Anand Ram Developer
Jane Miller Sales Manager

OFS-Output Field Separator

上面说的FS是输入分隔符，OFS就是输出指定分隔符。默认也是利用空格分隔。上面👆例子中，默认是空格分隔的。如果要将输出的分隔符指定为分号，可以用

awk 'BEGIN {FS="[,:%]"} {print $2,":",$3}' employee-multiple-fs.txt
John Doe : CEO
Jason Smith : IT Manager
Raj Reddy : Sysadmin
Anand Ram : Developer
Jane Miller : Sales Manager

这是一种方式，但更多用的是OFS变量

需要注意的是，OFS指定的分隔符前后不要有空格

awk 'BEGIN {FS="[,:%]"; OFS=":"} {print $2,$3}' employee-multiple-fs.txt
# 也是一样效果

另外，注意在print函数后面的参数之间使用逗号分隔的话，那么输出结果就是按空格分隔；如果参数之间什么也不写，只是罗列上，那么输出结果就是连在一起，比如：

解释：如果awk的print中出现了逗号分隔，那么awk就会调用默认的OFS，也就是输出结果用空格

awk 'BEGIN { print "test1","test2" }'
test1 test2
awk 'BEGIN { print "test1" "test2" }'
test1test2

RS-Record Separator

之前见过FS是列分隔符（只要见到这个符号，就分一列出来），这个RS就相当于行分隔符（见到这个符号就换一行）。

先举个简单的例子：

# 这个文件是一行的，都是”员工id,姓名“这样的形式
cat >employee-one-line.txt
101,John Doe:102,Jason Smith:103,Raj Reddy:104,Anand
Ram:105,Jane Miller

其中101,John Doe 是一个小字段，它和其他的字段用冒号分隔。现在如果想提取出每一个姓名，直接使用下面这个命令会是怎样？

 awk -F, '{print $2}' employee-one-line.txt

结果会输出John Doe:102 ，而不是想要的John Doe ，这个原因就是：我们的文件是一行，而且有两种分隔符

看到多个分隔符的情况，首先想到的就是之前介绍的BEGIN {FS="[,:]"} ，但是这样做的结果是把之前文本分的更细，如果要提取所有的姓名，那么就要print所有偶数列。于是有点麻烦

这里用到一个RS的东西，它和FS搭配使用：首先RS指定为冒号，将一整行的文本分成5行小字段，接着利用FS指定为逗号，在每个小字段中提取出第二列

awk -F, 'BEGIN { RS=":" } \
{ print $2 }' employee-one-line.txt
John Doe
Jason Smith
Raj Reddy
Anand Ram
Jane Miller

那么来一个进阶的：

现在有这样一个文件：

cat >employee-change-fs-ofs.txt
101
John Doe
CEO
-
102
Jason Smith
IT Manager
-
103
Raj Reddy
Sysadmin

可以看到，这里的列分隔符FS是换行符\n，行分隔符RS是- 再加一个换行符，因此如果要变成熟悉的样子，只需要在BEGIN中指定各种分隔符

awk 'BEGIN { FS="\n"; RS="-\n"; OFS=":" } {print $2, $3}' employee-change-fs-ofs.txt
John Doe:CEO
102:Jason Smith
103:Raj Reddy

ORS--Output Record Separator

与FS和OFS的关系一样，ORS也是定义输出的行分隔符，默认情况下，awk使用换行符\n作为ORS，当然自定义的话也是可以的，比如

cat >employee.txt
101,John Doe,CEO
102,Jason Smith,IT Manager
103,Raj Reddy,Sysadmin
104,Anand Ram,Developer
105,Jane Miller,Sales Manager

awk 'BEGIN {FS=",";ORS="\n---\n";OFS=":"} {print $2,$3}' employee.txt
John Doe:CEO
---
Jason Smith:IT Manager
---
Raj Reddy:Sysadmin
---
Anand Ram:Developer
---
Jane Miller:Sales Manager
---

NR — Number of Records

当放在主体语句中，这个内置变量会给出当前行号；当放在END语句中，它会给出总行数，例如：

awk 'BEGIN {FS=","} \
{print "Emp Id of record number",NR,"is",$1;} \
END {print "Total number of records:",NR}' employee.txt
END {print "Total number of records:",NR}' employee.txt
Emp Id of record number 1 is 101
Emp Id of record number 2 is 102
Emp Id of record number 3 is 103
Emp Id of record number 4 is 104
Emp Id of record number 5 is 105
Total number of records: 5

欢迎关注我们的公众号～_～　　
我们是两个农转生信的小硕，打造生信星球，想让它成为一个不拽术语、通俗易懂的生信知识平台。需要帮助或提出意见请后台留言或发送邮件到jieandze1314@gmail.com

Welcome to our bioinfoplanet!