程序员的AWK日常使用
介绍
AWK是一门解释型的编程语言。在文本处理领域它是非常强大的,它的名字来源于它的三位作者的姓氏:Alfred Aho, Peter Weinberger 和 Brian Kernighan。
GNU/Linux发布的AWK目前由自由软件基金会(FSF)进行开发和维护,通常也称它为 GNU AWK。
用途
AWK在程序员的日常工作中有以下几种用途
1、文本处理(从日志中筛选有用的记录,根据条件进行统计,字符串操作)
2、输出格式化的文本报表(根据想要的格式输出日志等文件,转成SQL进行存储)
3、执行算数运算(对日志等格式化文件中的记录数据进行各种计算)
使用
一、语法
AWK语言结构由三部分组成(BEGIN语句块,body语句块,END语句块)
实例:awk 'BEGIN{printf "first row content" } {print "body"} END{print "last row content"}'
说明:①BEGIN语句块最先执行且只执行1次,BEGIN必须大写,BEGIN语句块可以省略
②body部分的语句会对应用到文件或者输入内容的每一样内容,逐行执行,直到文件结束
③END语句块最后执行,可以做一些统计输出之类的功能,此语句块也是可省略的
二、执行方式
① 命令行直接写awk语句执行 如:awk 'BEGIN{printf "first row content" } {print "body"} END{print "last row content"} awk.txt'
② 将程序写入 .awk 文件中执行 如:awk -f command.awk awk.txt
三、常用语法
① 指定分隔符
默认以空格为字段之间的分隔符,也可以进行指定:
指定单个分隔符 awk -F "@" 指定@为分隔符
指定多个个分隔符 awk -F "[@ \t]" 指定@或空格或TAB为分隔符(存在多个分隔符时同时生效)
awk文件内指定分隔符 awk 'BEGIN{FS="@"} {print} END{print "end"}'
② 字符串拼接
通常:用双引号与字段拼接 例如:awk '{print $1 "*" $2}' output.txt(*代表拼接的内容)
例外:拼接单引号或双引号 awk '{print $1 "*'\''" $2}' 或 awk '{print $1 "*\"" $2}'
③ 输出指定列
例子:awk '{print $1 "*" $2}' output.txt (说明:$1代表依据分隔符分割之后第一列,以此类推,而且打印顺序可以随意摆放)
④ 流程控制(if else)
实例⑤ 循环
四、内建函数
① 算数函数
内建算数函数举例说明:
[chengmo@centos5 ~]$ awk 'BEGIN{OFMT="%.3f";fs=sin(1);fe=exp(10);fl=log(10);fi=int(3.1415);print fs,fe,fl,fi;}'
0.841 22026.466 2.303 3
OFMT 设置输出数据格式是保留3位小数
获得随机数:
[chengmo@centos5 ~]$ awk 'BEGIN{srand();fr=int(100*rand());print fr;}'
[chengmo@centos5 ~]$ awk 'BEGIN{srand();fr=int(100*rand());print fr;}'
[chengmo@centos5 ~]$ awk 'BEGIN{srand();fr=int(100*rand());print fr;}'
② 字符串函数
字符串内建函数例子:root@homestead:/home/www# awk -F "[ ,]" '{print length($1)}' output.txt
③ 时间函数
systime
mktime(datespec)
strftime([format [, timestamp[, utc-flag]]])
例子:awk -F "[ ,]" '{print length($1) "time: " strftime("%Y-%m-%d",systime())}' output.txt
五、输出重定向
输出重定向例子:awk '{print length($1) " time: " strftime("%Y-%m-%d",systime()) > "a.txt"}' output.txt
六、正则表达式
① 在命令行对文件每一行进行正则匹配
命令行正则匹配② 利用函数对具体字符串进行处理
gsub(regex, sub, string)
match(str, regex)
split(str, arr, regex)
sub(regex, sub, string)
总结:awk在日常开发中会为程序员省掉很多时间,比如日志统计、筛选,将有格式的文件入库等操作,当然awk作为一门简单的工具语言还有更强大的功能,这里就不一一介绍了
更多语法特性请参考:http://mp.weixin.qq.com/s/X0ire4dYiceC2CzPU6JsSw