shell编程之AWK

2021-06-25 本文已影响0人肉包君

2021-01-13
awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息

awk处理过程: 依次对每一行进行处理，然后输出默认分隔符是空格或者tab键

BEGIN{}            {}              END{}

行处理前            行处理            行处理后
[root@host ~]# awk 'BEGIN{print 1/2} {print "ok"} END{print "----"}' /etc/hosts
0.5
ok
ok
ok
ok
ok
ok
----

awk工作原理
awk -F":" '{print $1,$3}' /etc/passwd
（1）awk使用一行作为输入，并将这一行赋给变量$0,每一行可称作为一个记录，以换行符结束
（2）然后，行被:分解成字段，每个字段存储在已编号的变量中，从$1开始
（3）awk如何知道空格来分隔字段的呢？因为有一个内部变量FS来确定字段分隔符，初始时，FS赋为空格或者是tab
（4）awk打印字段时，将以设置的方法，使用print函数打印，awk在打印的字段间加上空格，因为$1,$3间有一个,逗号。逗号比较特殊，映射为另一个变量，成为输出字段分隔符OFS，OFS默认为空格
（5）awk打印字段时，将从文件中获取另一行，并将其存储在$0中，覆盖原来的内容，然后将新的字符串分隔成字段并进行处理。该过程持续到处理文件结束。

awk中的特殊变量:

NR: 表示记录编号, 当awk将行为记录时, 该变量相当于当前行号
NF: 表示字段数量, 当awk将香味记录时, 该变量相当于当前列号
$0: 表示当前记录的文本内容
$1: 表示当前记录的第一列文本内容
$2: 表示当前记录的第二列文本内容

RS(输入记录分隔符)       （record sign）
FS(输入字段分隔符) （filed sign）
NR(Number of record)行数
FNR按不同的文件飞开      
ORS(输出记录分隔符)   （output frecord sign）
OFS(输出字段分隔符)    （output filed sign）
NF 字段个数 （Number of filed）

FS(输入字段分隔符) （filed sign）
[root@youngfit ~]# awk 'BEGIN{FS=":"} {print $1}' /etc/passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games

OFS(输出字段分隔符)    （output filed sign）
[root@youngfit ~]# awk 'BEGIN{FS=":";OFS=".."} {print $1,$2}' /etc/passwd
root..x
bin..x
daemon..x
adm..x
lp..x
sync..x
shutdown..x

NR   表示记录编号, 当awk将行为记录时, 该变量相当于当前行号
[root@youngfit ~]# awk -F: '{print NR,$0}' a.txt file1.txt 
1 love
2 love.
3 loove
4 looooove
5 
6 isuo
7 IPADDR=192.168.6.5
8 hjahj123
9 GATEWAY=192.168.1.1
10 NETMASK=255.255.255.0
11 DNS=114.114.114.114

FNR  表示记录编号, 当awk将行为记录时, 该变量相当于当前行号(不同文件分开)
[root@youngfit ~]# awk -F: '{print FNR,$0}' a.txt file1.txt 
1 love
2 love.
3 loove
4 looooove
5 
1 isuo
2 IPADDR=192.168.6.5
3 hjahj123
4 GATEWAY=192.168.1.1
5 NETMASK=255.255.255.0
6 DNS=114.114.114.114

RS(输入记录分隔符)       
[root@youngfit ~]# cat passwd 
root:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@youngfit ~]# awk -F: 'BEGIN{RS="bash"} {print $0}' passwd 
root:x:0:0:root:/root:/bin/
bin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologin


ORS(输出记录分隔符)
[root@youngfit ~]# cat passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@youngfit ~]# awk -F: 'BEGIN{ORS=" "} {print $0}' passwd 
root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin

练习：将文件合并为一行
[root@youngfit ~]# awk 'BEGIN{ORS="" } {print $0}' /etc/passwd
练习：把一行内容分为多行
[root@youngfit ~]# cat d.txt 
root:x:0:0:root:/root:/bin/bash
[root@youngfit ~]# awk 'BEGIN{RS=":"} {print $0}' d.txt 
root
x
0
0
root
/root
/bin/bash

awk实用理解案例:
1.打印一个文件中的第2列和第3列

$ awk '{ print $2, $3}' filename

2.打印指定行指定列的某个字符

$ awk -F: 'NR==3{ print $7 }' /etc/passwd

3.统计一个文件的行数

$ awk '{ print NR}' filename

4.在脚本中, 传递变量到awk中

$ var=1000
$ echo | awk -v VARIABLE=$var '{ print VARIABLE }'

5.指定字段分隔符-F活在BEGIN{ FS=":" }

$ awk -F: '{ print $2, $3 }' filename
$ awk 'BEGIN{ FS=":" }{ print $2, $3 }' filename

6.在awk中使用for循环

$ grep '05/Sep/2017' cd.mobiletrain.org.log | awk '{ ips[$1]++ } END {for (i in ips){print i,ips[i]}}' | sort -k2 -rn | head -n10 
182.140.217.111 138
121.12.22.33 100
10.19.3.2 90
23.29.112.23 80
121.31.30.189 45
187.23.43.123 40

7.在awk中使用if条件判断

$ awk -F: '{if($3==0) {print $1 " is administrator."}}' /etc/passwd
统计系统用户
$ awk -F":" '{if($3>0 && $3<1000){i++}} END{print i}' /etc/passwd

shell编程之AWK

猜你喜欢

热点阅读