awk学习笔记（一）
1. 问题引入
现阶段提取文本记录或字段时，用awk比较多，同时也多和grep, 管道等一起使用。比如，我要提取call variation之后文件中表示SNP记录的1,2,4,5列。
$ less -S -x 16 final.A1.variants.vcf | \
grep "^#" -v | \
awk 'length($4) == length($5) { print $1"\t"$2"\t"$4"\t"$5 }' | less
#这里忽略了SNP的ALT有两个或三个可能碱基的情况
1.1 说明
length($4)：返回这一行第四个元素的长度
|：管道，将前面的标准输出作为后面命令的标准输入
less
-S：取消自动换行
-x 16：表示一个字段的宽度
grep
“^#”：表示正则表达式，匹配以#开头的行
-v：表示不能匹配上的
2. awk的基本用法
awk [ -F “fs“ ] [ -v var=value … ] ‘program’
awk总是一行一行来处理，这一点类似grep, sed
注意这几个地方：
- 标量变量的定义与初始化中，变量名称前面没有使用$；
- 短程序中，执行语句与执行语句之间用";"分隔；
- 判断条件，可以是if语句，放在主{}里面，位于’{
if(xxx)}’；也可以是正则表达式或是等式，不等式，直接放在’短程序’中，如’正则表达式{ xxx }’； - ’短程序’中可以加上BEGIN, END模式，分别位于最前和最后。BEGIN用来处理初始化内容，只执行一次。END在所有输入数据处理完之后执行一次；
比如，上面命令中短程序部分改为：
'BEGIN { var = "SNP" } length($4) == length($5) \
{ print $1"\t"$2"\t"$4"\t"$5"\t"var}'
（注意到了吗，使用标量变量var时也没有加$。var = "SNP"也可以跟在”awk”后面，用-v选项引出来。）
2.1 字符串
比较运算符
==, !=, <, <=, >, >=
字符串的大小比较为真的前提是一个字符串为另一个字符串的子串，比如“ABC” < “ABCD”为真。
连接操作符
两个相邻的字符串会自动连接，这和Perl中的点号”.”连接字符串有区别。
字符串函数
length(x)返回字符串的长度
substr(str, start, len)提取字符串，编号从1开始
tolower(x), toupper(x)返回大小写转换后的字符串
index(str, find)查找字符串，找到返回下标，找不到返回0
$ less -S -x 16 final.A1.variants.vcf | \
grep "^#" | \
awk '{ if ( index($0, "NC_027769.2") ) print $0 }'
##contig=<ID=NC_027769.2,length=80379029>
sub/gsub(正则表达式, 替换文本, 目标文本)替换字符串，不过返回值是替换的次数，gsub表示全局替换
less -S -x 16 final.A1.variants.vcf | \
grep "^#" -v | \
awk '{gsub(/NC_027757.2/, "1", $0); print $0 }' | less -S
less -S -x 16 final.A1.variants.vcf | \
grep "^#" -v | \
awk '{num=gsub(/NC_027757.2/, "1", $0); print num }' | less
2.2 数值
数值运算符（和其他编程语言是一样的）
数值函数
int(x)返回整数部分
exp(x)返回e的x次幂
log(x)返回x的自然对数
sqrt(x)返回x的平方
2.3 字符串与数字的转换
n=123; s=””123数字转字符串
s=”123”; n=0+s字符串转数字
2.4 常用的内部变量
FILENAME: 当前输入文件的名称，当awk前面使用管道是，为”-”;
FNR: 当前输入文件的记录数;
FS: 字段分隔符
- 超过一个字符时，视为正则表达式；
- 默认是空格，但其实制表符也能同样识别；
- 当分隔符设定为空字符串时，会拆散字符串；
- 和-F选项作用一样;
NF: 当前记录的字段数;
NR: 在工作中的记录数；放在短程序中相同位置的话，好像和FNR是差不多的，比如放在主{}中表示当前是第几行记录
OFS: 输出字段分隔字符（默认是空格）;
如何使用？
还是以上述的短程序代码为例
'BEGIN { var = "SNP" } length($4) == length($5) \
{ OFS = "\t"; $1 = $1; print $1, $2, $4, $5, var}'
这里的$1 = $1;是一个引子，不用太深究是什么意思；如果不加的话，$0不会有什么变化
ORS: 输出记录分隔字符（默认是换行符），用法和上面类似。
