awk命令详解
2016-12-19 本文已影响0人
ericsonyc
背景
- AWK是一种处理文本文件的语言，是一个强大的文本分析工具
awk的基本用法
文本内容：
2 this is a test
3 Are you like awk
This's a test10
There are orange,apple,mongo
-
用法一：
awk '{[pattern] action}' {filenames} #行匹配语句 awk 只能用单引号
示例：awk '{print $1,$4}' log.txt
2 a
3 like
This's
10 orange,apple,mongo -
用法二：
awk -F #-F相当于内置变量FS, 指定分割字符
示例： awk -F, '{print $1,$2}' log.txt
2 this is a test
3 Are you like awk
This's a test
10 There are orange apple -
用法三：
awk -v #设置变量
示例： awk -va=1 '{print $1,$1+a}' log.txt
2 3
3 4
This's 1
10 11
awk內建变量
| 变量 | 描述 |
|---|---|
| $n | 当前记录的第n个字段，字段间由FS分隔 |
| $0 | 完整的输入记录 |
| ARGC | 命令行参数的数目 |
| ARGIND | 命令行中当前文件的位置(从0开始算) |
| ARGV | 包含命令行参数的数组 |
| CONVFMT | 数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组 |
| ERRNO | 最后一个系统错误的描述 |
| FIELDWIDTHS | 字段宽度列表(用空格键分隔) |
| FILENAME | 当前文件名 |
| FNR 同NR， | 但相对于当前文件 |
| FS | 字段分隔符(默认是任何空格) |
| IGNORECASE | 如果为真，则进行忽略大小写的匹配 |
| NF | 当前记录中的字段数 |
| NR | 当前记录数 |
| OFMT | 数字的输出格式(默认值是%.6g) |
| OFS | 输出字段分隔符(默认值是一个空格) |
| ORS | 输出记录分隔符(默认值是一个换行符) |
| RLENGTH | 由match函数所匹配的字符串的长度 |
| RS | 记录分隔符(默认是一个换行符) |
| RSTART | 由match函数所匹配的字符串的第一个位置 |
| SUBSEP | 数组下标分隔符(默认值是/034) |
正则表达式
~ 表示模式开始， / /符号中为模式。
awk '/re/ ' log.txt
awk '$2 ~ /th/ {print $2,$4}' log.txt
awk脚本
- BEGIN{这里面放的是执行前的语句}
- END{这里面放的是处理完所有的行后要执行的语句}
- {这里面放的是处理每一行时要执行的语句}
#!/bin/awk -f
#运行前
BEGIN {
math = 0
english = 0
computer = 0
printf "NAME NO. MATH ENGLISH COMPUTER TOTAL\n"
printf "---------------------------------------------\n"
}
#运行中
{
math+=$3
english+=$4
computer+=$5
printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
printf "---------------------------------------------\n"
printf " TOTAL:%10d %8d %8d \n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}
awk使用原理
- awk每次处理一行字符（通过文件或管道），并将这一行赋给内部的$0变量，默认一行字符以换行符结束。
- 每行数据默认被空格分解成字段（通过内部定义FS变量来获取分隔符），每个字段存储在已经编好的变量中，从$1开始，可以多达100个字段。
- awk输出时，逗号会被空格替换，改空格保存在OFS变量中（输出字段分隔符）。
