awk
一、wak简介
awk处理文本和数据的方式： 逐行扫描文件，从第一行到最后一行，寻找匹配条件的行，并对这些行进行操作，如果没有进行操作，默认将这些行打印到屏幕上
二、awk的两种形式语法格式
awk [options] 'commands' filenames
awk [options] -f awk-script-file filenames
options：
-F 对于每次处理的内容，可以指定一个子定义的分隔符，默认的分隔符是空白字符（空格或 tab 键 ）
command：
BEGIN{} {} END{}
处理所有内容之前的动作 处理内容中的动作 处理所有内容之后的动作
示例
awk 'BEGIN{print 1/2} {print "----开始处理了---"} END{print "----都处理完毕---"}' /etc/hosts
----开始处理了---
ok
ok
ok
----都处理完毕---
三、awk工作原理(awk是一行一行进行处理的，并且只能缓存一行的内容)
awk -F: '{print $1,$3}' /etc/passwd
(1)awk，会处理文件的每一个行，每次处理时，使用一行作为输入，并将这一行赋给内部变量$0，每一行也可称为一个记录，以换行符结束
(2)然后，行被:（默认为空格或制表符）分解成字段（或称为域），每个字段存储在已编号的变量中，从$1开始，
最多达100个字段
(3)awk如何知道用空白字符来分隔字段的呢？ 因为有一个内部变量FS来确定字段分隔符。初始时，FS赋为空白字符
(4)awk打印字段时，将以内置的方法使用 print 函数打印，awk 在打印出的字段间加上空格。这个空格是内部的一个变量 OFS 输出字段的分隔符, 逗号 , 会和 OFS 进行映射，通过 OFS 可以控制这个输出分隔符的值。
(5)awk输出之后，将从文件中获取另一行，并将其存储在$0中，覆盖原来的内容，然后将新的字符串分隔成字段并进行处理。该过程将持续到所有行处理完毕
========================================================
四、记录与字段相关的内部变量
$0 ： awk变量 $0 保存当前正在处理的行内容
awk -F: '{print $0}' file 输出文件内容
NR ： 当前正在处理的行是 awk 总共处理的行号。 输出对应的行号
awk -F: '{print NR,$3}' /etc/passwd 输出第三列并显示行号
FNR： 当前正在处理的行在其文件中的行号。
NF ：每行被处理时的总字段数
可以显示出按FS分隔符被分出了多少个字段
FS ： 输入行时的字段分隔符，默认空格 -F：分隔符
awk 'BEGIN{FS=":"} {print $1,$3}' /etc/passwd
awk -F: '{print $1,$3}' file
多个分隔符的话
echo "a b|c d| ||||e | |" |awk -F'[ |]+' '{print $5}' 输出e
echo "a b|c d| ||||e | |" |awk -F'[ |]' '{print $10}' 输出e
OFS ： 输出字段分隔符,默认是一个 空格 每一列之间的分隔符,默认一个空格
awk 'BEGIN{OFS="---"} {print $1,$3}' file 输出文件第1列和第三列，并且内列之间用"--"分隔
awk 'BEGIN{FS=":"; OFS="+++"} /^root/{print 2,
4}' /etc/passwd
ORS 输出记录分隔符, 默认是换行符. 输出的行之间的分隔符，默认回车
awk 'BEGIN{ORS=' ' } {print $0}' file 输出文件内容，并且一行输出全部
五、格式化输出
printf函数（f对应的就是Format格式)
awk -F: '{printf "%-15s %-10s %-15s\n", $1,$2,$3}' /etc/passwd
awk -F: '{printf "|%-15s| %-10s| %-15s|\n", $1,$2,$3}' /etc/passwd
-
%s字符类型 -
%d数值类型 -
%f浮点类型 -
%-10s占10个字符，-代表的是左对齐，默认右对齐 -
printf默认输出不换行,\n换行
六、awk模式和动作
- 模式有
BEGIN和END两个特殊字段
BEGIN语句用来设置变量，计数的初始值，和打印表格的表头段
END语句用来在完成awk动作之后打印输出文本总数
模式
- 匹配记录
awk '/^root/' /etc/passwd
awk '$0 ~ /^root/' /etc/passwd
awk '!/root/' passwd
awk '$0 !~ /^root/' /etc/passwd
awk查找某个内容以~开始，两个转义符\框起来，!表示取反
- 比较表达式，对文本进行比较
关系运算符有：<,>,==,<=,>=,!=
示例：awk '$3=="北京"' file 查找第三列值是北京的行
awk '$3>10' file 查找第三列数值大于10的行
- 条件表达式
awk -F: '{ if($3>300) print $0}' /etc/passwd
awk -F: '{ if($3>300) {print $0} else{print $1}}' /etc/passwd
- 算术运算符+-*/%
awk -F: '{if $3*10>100 {print $0} }' /etc/passwd
- 逻辑操作和符合模式
&&与两个条件都符合
||或符合一个就可以
!非取反
- 范围模式，符合是
逗号
使用语法是开始表达式，结束表达式
➜ ~ awk -F: '/^bin/,/adm/ {print $0 }' /etc/passwd
搜索开始是bin的直到找到adm之间的所有行
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
七、awk在脚本中的应用
条件判断
if语句
格式 {if (表达式) {语句;语句} }
{if (表达式) {语句;语句} else{语句;语句}}
{if (表达式) {语句;语句} else if (表达式) {语句;语句} else{语句;语句} }
循环
while
语法格式： awk '{ while(循环条件){循环体}}'
awk 'BEGIN{for(i=1;i<=5;i++){print i} }' //C风格for
awk -F: '{ for(i=1;i<=10;i++) {print $0} }' /etc/passwd //将每行打印10次
