linux sed, awk命令详解

sed

用法：sed [-nefi] 'command' file
用途：处理文本

option:
-n 只显示经过sed处理的内容
-e 在命令中指定命令
-f 在脚本中指定命令
-i 在原文件中替换

command:
i 在之前插入
a 在之后插入
p 打印
d 删除
s 替换字符
c 替换行

举例：

# 删除第1行，原文件被修改
sed -i '1d' file

# 删除第1-10行，并输出到标准输出，原文件不变
sed '1,10d' file

# 打印第10至末行
sed -n '10,$p' file

# 删除kube开头且^结尾的行，原文件被修改
sed -i '/^kube.*\^/d' file

# 在第10行后，插入新行（hello world)，并输出到标准输出，原文件不变
sed '10a hello world' file

# 在第1-3行每一行前，插入新行（hello world)，并输出到标准输出，原文件不变
sed '1,3i hello world' file

# 把第1-3行合并成一行替换成hello world，并输出到标准输出，原文件不变
sed '1,3c hello world' file

# 找出包含ruby的行，并将ruby替换为java，输出到标准输出，原文件不变
sed -n '/ruby/p' file | sed 's/ruby/java/g'

# 删除包含rm和vim的行，原文件被修改
sed -i '/rm/d;/vim/d' file

# 删除包含rm和vim的行，原文件被修改
sed -i -e '/rm/d' -e '/vim/d' file

# 删除每行开头的空格，原文件被修改
sed -i 's/^ \+//g' file

awk

用法：awk [option] 'command' file
用途：文本处理，擅长取列

option：
-F 设置分隔符，默认为空格
-f 指定awk脚本文件

内置变量：
FS 输入字段分隔符，同-F
RS 输入行分隔符，默认为换行符
NR 行号
NF 列号
FNR 单个文件行号
OFS 输出字段分隔符
ORS 输出行分隔符，默认为换行符
$0 当前行
$n 当前行的第n列

内置函数：
length(s) 计算s字符串的长度
split(s, a, sep) 用sep将s字符串分割，得到数组a
substr(s, start, c) 从s字符串start位置开始，取c个字符输出

举例：

# 初始化变量a为1，打印每一行，并a+1，最后打印a的值
awk -va=1 '{print $0; a+=1} END {print "a is ", a}' file
awk 'BEGIN {a=1} {print $0; a+=1} END {print "a is ", a}' file

# 指定分隔符为空格或逗号，对第一列字符长度大于10的行，打印出来
awk -F"[ ,]" 'length($1) > 10 { print $1 }' file
awk -F"[ ,]" '{ if(length($1) > 10) print $1 }' file
# -F相当于内置变量FS，指定分隔符
awk 'BEGIN { FS="[ ,]" } { if(length($1) > 10) print $1 }' file

# 对行号为偶数且列数大于8的行，统计第一列字符出现的次数，最后打印出来
awk 'NR % 2 == 0 && NF > 8 { sum[$1] += 1 } END { for(k in sum) print k, sum[k]; print "finished" }' file

# 对于第1列匹配正则[\.\d]+的行，打印整行
awk '$1 ~ /[\.\d]+/ { print $0 }' file

# 设置输出分隔符为/，用==分割第1列得到数组a，打印数组中第1、2个元素（数组初始下标为1）
awk 'BEGIN { OFS="/" } { split($1, a, "=="); print a[1], a[2] }' file

# 取每行第1列最后4个字符，并打印
awk '{ l=length($1); b=substr($1, l-4, l); print b }' file