shell_awk
shell-awk
awk简介
awk是一种编程语言，用于在linux下对文本和数据处理
数据可以来自标准输入、一个或多个文件、或其他命令的输出
支持用户自定义函数和正则表达式 是一种强大的编辑器
awk的两种形式语法格式
awk [options] 'commands' filenames
awk [options] -f awk-script-file filenames
options：
-F 对于每次处理的内容，可以指定一个自定义的分隔符，默认分隔符是空白字符（空格或者tab键）
command
BEGIN{} {} END{}
处理所有的内容 处理内容中的动作 处理所有内容之后的动作
示例
awk 'BEGIN{print "----开始处理了---"} {print "ok"} END{print "----都处理完毕---"}' /etc/hosts
----开始处理了---
ok
ok
ok
----都处理完毕---
BEGIN{}通常用于定义一些变量，例如BEGIN{FS=":";OFS="-----"}
awk工作原理
awk -F: '{print $1,$3}' /etc/passwd
1） awk,会处理文件的每一个行，每次处理时，使用一行作为输入，并将这一行赋给内部变量$0,每一行也可称为一个记录，以换行符结束
2） 然后，行被：（默认为空格或制表符）分解成字段（或称为域），每个字段存储在已编号的变量中，从$1开始，最多达100段
3 ）awk如何知道用空白字符来分隔字段呢？因为有一个内部变量FS来确定字段分割符。初始时，FS赋值为空白字符
4）awk打印字段时，将以内置的方法使用print函数打印，awk在打印出的字段上加上空格。这个空格是内部的一个变量OFS输出字段的分隔符、逗号，会和OFS进行映射，通过OFS可以控制这个分隔符的值
5）awk输出之后，将从文件中获取另一行，并将其存储在$0x中，覆盖原来的内容，然后将新的字符串分割成字段并进行处理
记录与字段相关内部变量
$0 :awk变量保存当前正在处理的行内容
NR：当前正在处理的行是awk总共处理的行号
FNR：当前正在处理的行在其文件中的行号
NF：每行被处理时的总字段数
FS：输入行时的字段分隔符，默认空格
OFS:输出字段分隔符，默认是一个空格
ORS：输出记录分隔符，默认是换行符
awk 'BEGIN{FS=":"} {print $1,$3}' /etc/passwd $是以冒号分隔 然后取出第一和第三列
awk 'BEGIN{FS=":"; OFS="+++"} /^root/{print $1,$2,$3,$4}' /etc/passwd $这个是以冒号分隔找出以root开头的行并将冒号换成加号
示例
将文件每一行合并成一行
ORS默认输出一条记录应该回车，但是加了一个空格
awk 'BEGIN{ORS=" "} {print $0}' /etc/passwd $把所有行合并成一行并以空格分隔开
格式化输出
print函数
awk -F：'{printf "|%-15s| %-10s| %-15s|\n", $1,$2,$3}' /etc/passwd $把etc/passwd中的1、2、3行取出来并在每行中按一定格式输出
%s 字符类型
%d 数值类型
%f 浮点类型
%-15s占15个字符 -表示左对齐，默认是右对齐
printf 默认不会在行尾自动换行，加\n
awk模式和动作
任何awk语句都有模式和动作组成
正则表达式
awk '/^root/' /etc/passwd #匹配出以root开头得行
awk '$0 ~ /^root/' /etc/passwd
awk '!/root/' passwd #匹配出没有root的行
awk '$0 !~ /^root/' /etc/passwd
匹配字段，可以使用的匹配操作符（和！）
awk -F: '$1 ~ /^alice/' /etc/passwd
awk -F: '$NF !~ /bash$/' /etc/passwd
比较表达式
比较表达式采用对文本进行比较，只有当条件为真，才执行指定的动作。
比较表达式使用关系运算符，用于比较数字与字符串
关系运算符有
<小于 例如x<y
>大于x>y
<=小于或等于x<=y
==等于x==y
!=不等于x!=y
>=大于等于x>=y
示例
awk -F: '$3 == 0' /etc/passwd
awk -F: '$3 < 10' /etc/passwd
awk -F: '$NF == "/bin/bash"' /etc/passwd
awk -F: '$1 == "root"' /etc/passwd
df -P | grep '/' |awk '$4 > 25000'
条件表达式
awk -F: '$3>300 {print $0}' /etc/passwd
awk -F: '{ if($3>300) print $0 }' /etc/passwd
awk -F: '{ if($3>300) {print $0} }' /etc/passwd
awk -F: '{ if($3>300) {print $3} else{print $1} }' /etc/passwd
算术运算：+ - * / %(模：取余） ^(幂：2^3)
awk -F: '$3 * 10 > 500' /etc/passwd
awk -F: '{ if($3*10>500){print $0} }' /etc/passwd
逻辑操作符和复合模式
<&& 逻辑与，相当于，并且
||逻辑或，相当于 或者
！逻辑非，取反
awk -F: '$1~/root/ && $3<=15' /etc/passwd
awk -F: '$1~/root/ || $3<=15' /etc/passwd
awk -F: '!($1~/root/ || $3<=15)' /etc/passwd
使用语法起始表达式，终止表达式
➜ ~ awk -F: '/^bin/,/adm/ {print $0 }' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
awk 正则示例
➜ ~ awk -F: '/^(bin|root)/' /etc/passwd
root:x:0:0:root:/root:/bin/zsh
bin:x:1:1:bin:/bin:/sbin/nologin
