sam和bam格式文件的shell小练习
首先使用bowtie2软件自带的测试数据生成sam/bam文件，代码如下：
mkdir -p ~/biosoft
cd ~/biosoft
wget https://sourceforge.net/projects/bowtie-bio/files/bowtie2/2.3.4.3/bowtie2-2.3.4.3-linux-x86_64.zip
unzip bowtie2-2.3.4.3-linux-x86_64.zip
cd ~/biosoft/bowtie2-2.3.4.3-linux-x86_64/example/reads
../../bowtie2 -x ../index/lambda_virus -1 reads_1.fq -2 reads_2.fq > tmp.sam
# samtools view -bS tmp.sam > tmp.bam
LINUX练习题
- 统计共多少条reads（pair-end reads这里算一条）参与了比对参考基因组
grep -v '^@' tmp.sam | cut -f 1 | sort | uniq -c | wc -l
共10000条reads参与了比对参考基因组。
- 统计共有多少种比对的类型（即第二列数值有多少种）及其分布。
grep -v '^@' tmp.sam | cut -f 2 | sort -n | uniq -c
得到结果：
- 筛选出比对失败的reads，看看序列特征。
grep -v '^@' tmp.sam | awk '{if ($6 == "*") print}' | less -SN
grep -v '^@' tmp.sam | awk '{if ($6 == "*") print $10}' | less -SN
序列碱基含有较多的N。
- 比对失败的reads区分成单端失败和双端失败情况，并且拿到序列ID
grep -v '^@' tmp.sam | awk '{if ($6 == "*") print $1}' | sort -n | uniq -c | grep -w 2
grep -v '^@' tmp.sam | awk '{if ($6 == "*") print $1}' | sort -n | uniq -c | grep -w 1
- 筛选出比对质量值大于30的情况（看第5列）
grep -v '^@' tmp.sam | awk '{if ($5 > 30) print}' | less -SN
- 筛选出比对成功，但是并不是完全匹配的序列
grep -v '^@' tmp.sam | awk '{if ($6 != "*") print}' | awk '{if ($6 ~ "[IDNXSHP]") print}'
- 筛选出insert size长度大于1250bp的 pair-end reads
grep -v '^@' tmp.sam | awk '{if ($9 > 1250) print}' | less -SN
- 统计参考基因组上面各条染色体的成功比对reads数量
grep -v '^@' tmp.sam | awk '{if ($6 != "*") print}' | cut -f 3 | sort -n | uniq -c
- 筛选出原始fq序列里面有N的比对情况
grep -v '^@' tmp.sam | awk '{if ($10 ~ "N") print}' | less -SN
- 筛选出原始fq序列里面有N，但是比对的时候却是完全匹配的情况
grep -v '^@' tmp.sam | awk '{if ($10 ~ "N") print}' | awk '{if ($6 !~ "[IDNXSHP*]") print}' | less -SN
- sam文件里面的头文件行数
grep '^@' tmp.sam | wc -l
头文件行数为3。
- sam文件里每一行的tags个数一样吗
grep -v '^@' tmp.sam | cut -f 12- | less -SN
不一样。
- sam文件里每一行的tags个数分别是多少个
grep -v '^@' tmp.sam | cut -f 12- | awk '{print NF}' | sort -n | uniq -c
结果：
- sam文件里记录的参考基因组染色体长度分别是？
grep '^@' tmp.sam
LN:48502
- 找到比对情况有insertion情况的
grep -v '^@' tmp.sam | awk '{if ($6 ~ "I") print}' | less -SN
- 找到比对情况有deletion情况的
grep -v '^@' tmp.sam | awk '{if ($6 ~ "D") print}' | less -SN
- 取出位于参考基因组某区域的比对记录，比如 5013到50130 区域
grep -v '^@' tmp.sam | awk '{if ($4 > 5013 && $4 < 50130) print}' | less -SN
- 把sam文件按照染色体以及起始坐标排序
grep -v '^@' tmp.sam | sort -n -k 4 | less -SN
- 找到 102M3D11M 的比对情况，计算其reads片段长度。
grep '102M3D11M' tmp.sam | awk '{print length($10)}'
- 安装samtools软件后使用samtools软件的各个功能尝试把上述题目重新做一遍。
其它概念题
高通量测序数据分析中，序列与参考序列的比对后得到的标准文件为什么文件？
sam文件是一种比对后的文件，能直接查看吗？
Sam/Bam文件分为两部分，一部分以@开头的是什么序列，另一部分是什么序列？
Sam文件除头文件，以什么符号分割文本的，比对部分信息一行是多少列？你能用awk计算列数吗？
Sam/Bam文件的@SQ开头的行是什么？你能生成一个文本，两列，一列是参考基因组染色体/sca id，一列是长度吗？
Sam文件的比对位置是从1还是0开始的？
常见CIGAR 字符串各字母代表的意义？
比对质量的数字是哪一列？越大比对质量越好还是越小越好？
Sam文件的flag是第几列，数字代表什么意义？是怎么计算来的？
Sam文件怎么转bam文件？用什么指令？为什么要转换？
Bam文件查看用什么指令？如果需要查看头文件需要增加参数？
Bam文件为什么要排序？排序后的bam和未排序的bam头文件和chr position列有什么区别？
Bam文件建索引的指令是什么？
Bam文件可视化用什么工具？查看时需要建立索引吗？
Bam文件统计reads比对情况用samtools的哪一个子命令？
SE测序和PE测序的所比对后得到的sam文件的区别在哪里？
Bam能用gzip再压缩吗？
Sam文件通常由哪些比对软件得到的？
Sam/Bam文件能转成fastq文件吗？
有时候不能通过文件名的后缀来区别是sam还是bam，你是怎么区别的？
参考：
http://www.bio-info-trainee.com/3578.html
http://www.bio-info-trainee.com/398.html
https://vip.biotrainee.com/d/117-samtools
https://vip.biotrainee.com/d/162-sam
http://broadinstitute.github.io/picard/explain-flags.html
https://www.jianshu.com/p/9c99e09630da
