AWK是门大学问(上)

刘小泽写于19.4.29
在grep、sed、awk中awk应该是最为强大的了，它可以单独作为一门语言去学，但是现在没有必要，掌握基础的用法就可以啦。
我认为，awk的作用简而言之就是以行输入，以列处理
本次内容来自一本叫做"sed-awk-101Hacks"，可以利用一些简单的小例子来练习，虽然和生物无关，但是技术到位了日后才可以顺利分析

首先在linux中新建几个文件，作为示例数据

第一个文件：有三列，分别是员工号、姓名、职位

cat >employee.txt
101,John Doe,CEO
102,Jason Smith,IT Manager
103,Raj Reddy,Sysadmin
104,Anand Ram,Developer
105,Jane Miller,Sales Manager

AWK的基本语法

Basic

awk -Fs '/pattern/ {action}' input-file

• -F表示分隔符(filed delimiter)
• /pattern/和{action}应该放在一个单引号中
• /pattern/指的是匹配。当然这一项是可选的，如果不提供的话，awk默认对输入文件的所有行进行遍历；如果指定了，awk只会对匹配上的进行操作
• {action}中是awk的精髓，可以包含一个或多个命令

比如：

awk -F: '/mail/ {print $1}' /etc/passwd
mail

-F指定:是分隔符(可以先看下/etc/passwd这个文件；awk默认是空格分隔）。然后匹配上mail的输出第一列

将命令封装到单独脚本中

如果要利用awk执行许多命令，可以将一系列的/pattern/ {action} 保存到比如叫test.awk的脚本中，然后调用

  awk -F -f myscript.awk input-file

这个脚本文件后缀可有可无，有后缀只是为了让后期修改更容易识别[这里要说明一下，linux中后缀的概念并不是那么重要，起到的作用一般是标识]

当然，如果自己在脚本中指定了分隔符，那么直接调用脚本就好

  awk -f myscript.awk input-file

awk编程结构(BEGIN，body，END)

• BEGIN：就是BEGIN {commands}
  只在开头，也就是awk开始执行真正的命令前；
  它是打印header行、初始化变量的好帮手；
  BEGIN中可以包含一个或者多个awk命令；
  BEGIN必须要大写；
  BEGIN部分可有可无
• Body：就是/pattern/ {action}
  每读入一行就执行一次这个命令；
• END：就是END {commands}

awk大体流程

举个例子：

awk 'BEGIN { FS=":";print "---header---" } /mail/ {print $1} END { print "---footer---"}' /etc/passwd

---header---
mail
---footer---

可以看到，在BEGIN中也是可以指定分隔符的，它用的是FS=":"

如果不想把上面这么长的命令写在一行中，也可以这样：

cat >test.awk
BEGIN {
 FS=":"
 print "---header---"
}
/mail/ {
 print $1
} END {
 print "---footer---"
}

awk -f test.awk /etc/passwd

几种常见的awk表现形式：

• 只有body

    awk -F: '{ print $1 }' /etc/passwd
  

• 全套

  awk -F: 'BEGIN { printf "username\n------\n"} \
  { print $1 } \
  END { print "------" }' /etc/passwd
  

• body加BEGIN/END其中一个

  awk -F: 'BEGIN { print "UID"} { print $3 }' /etc/passwd
  

• 只用BEGIN或者END

  结果和echo输出的效果一样，例如

  awk 'BEGIN { print "Hello World!" }'
  Hello World!
  

当指定多个文件时

比如对两个文件进行awk操作，它是先对第一个文件的所有行操作完，再进行第二个文件操作，但是BEGIN和END只输出一次

awk 'BEGIN { FS=":";print "---header---" } \ /mail/ {print $1} \
END { print "---footer---"}' /etc/passwd /etc/group

Print命令

默认情况下，awk的print函数打印所有的行，比如

awk '{print}' employee.txt
101,John Doe,CEO
102,Jason Smith,IT Manager
103,Raj Reddy,Sysadmin
104,Anand Ram,Developer
105,Jane Miller,Sales Manager

它和{print $0}的效果一样，因为$0是每一行中全部记录的意思

要是指定输出某一列，就用$加数字，指定提取第几列，比如

awk '{print $2}' employee.txt
Doe,CEO
Smith,IT
Reddy,Sysadmin
Ram,Developer
Miller,Sales

但是，发现和想要的不对！为什么？

因为分隔符的问题，awk默认是空格，但是这里是逗号分隔，因此加一个-F就好了

awk -F ',' '{print $2}' employee.txt
John Doe
Jason Smith
Raj Reddy
Anand Ram
Jane Miller

当分隔符只有一个字符时，指定形式很随意，可以双引号，可以单引号，还恶意没有引号

awk -F ',' '{print $2}' employee.txt
awk -F "," '{print $2}' employee.txt
awk -F, '{print $2}' employee.txt

格式匹配 pattern matching

比方输出包含manager的姓名和职位

awk -F ',' '/Manager/ {print $2, $3}' employee.txt
Jason Smith IT Manager
Jane Miller Sales Manager

打印员工号是102的姓名

awk -F ',' '/^102/ {print "Emp id 102 is", $2}' \ employee.txt
Emp id 102 is Jason Smith

---

欢迎关注我们的公众号～_～　　
我们是两个农转生信的小硕，打造生信星球，想让它成为一个不拽术语、通俗易懂的生信知识平台。需要帮助或提出意见请后台留言或发送邮件到jieandze1314@gmail.com

Welcome to our bioinfoplanet!