生物信息学1 生物信息学RNA-seq

转录组学习六（reads计数与标准化）

2018-03-29  本文已影响205人  Dawn_WangTP

转录组学习一（软件安装）
转录组学习二（数据下载）
转录组学习三（数据质控）
转录组学习四（参考基因组及gtf注释探究）
转录组学习五（reads的比对与samtools排序）
转录组学习六（reads计数与标准化）
转录组学习七（差异基因分析）
转录组学习八（功能富集分析）

任务

<font color=orange>reads计数的原理</font>

参考徐洲更在reads计数里的解释：
reads的计数定量主要可分为三个水平：基因水平、转录组水平、外显子水平。

<font color=orange>标准化的原理RPKM/FPKM/TPM</font>

之前学习genek-转录组原理篇课程时记录的相关笔记，也再次回顾一下

image
  1. 需要标准化的原因：
    1. 样本内：相对定量而不是绝对定量：仅表示在35次抽样中，B基因抽样到了20次，（而不是其表达了20次。也不能说其会比geneA表达量高，因为基因的长度不同，所以落到基因上的reads数量也不同）
    2. 样本件：不同样本的测序深度也是不同的，测序深度更深的会得到更多的reads。
    3. 故，需要标准化。对基因长度和测序深度的不同进行标准化。
  2. PKM 流程
    1. gene长度标准化(真实转录序列的长度，不考虑可变剪接情况) image
      • TPM:总的转录本的丰度，更符合对相对表达量的定义。表达丰度求和。(reads数目/基因的长度=表达丰富度)
      • 看了许多的文章都在强调RPKM/FPKM的不合理性跟TPM的相对合理性，但为什么现在大多数的相对计数都在用FPKM/RPKM，而不用TPM呢，因为后续的软件不支持。

    <font color=orange>HTSeq-count定量</font>

    根据featureCounts or htseq-count?文章里对HTSeq-count和feature-counts做了比较，浏览下来得到几点:HTseq-count为Python写的软件，为欧洲分子实验室大神（写了另外的DESeq2）所写，并且htseq-count也被更多人所引用。，而对于featureCounts来说，速度更快，20倍快于htseq；支持SAF的注释文件，会得到比htseq-count更多的计数值

    • 基本使用：
    htseq-count [options] <alignment_file> <gff_file>
    • 文献中测序的数据是双末端PE-reads，htseq的计数需要进行按照reads名称进行排序
    ### samtools重新排序
for i in `seq 56 58`; do nohup samtools sort -@ 5 -n ../5_samtools/SRR35899${i}.bam -o SRR35899${i}_nsort.bam & done
    • HTSeq-count的基本参数：
      • -f bam/sam:指定文件格式，默认为sam，选择为bam。
      • -r name/pos:利用samtool sort对数据根据read name或者位置进行排序，默认是name。
      • -s yes/no/reverse：数据是否来自于strand-specific assay。DNA是双链的，所以需要判断到底来自于哪条链。如果选择了no， 那么每一条read都会跟正义链和反义链进行比较。默认的yes对于双端测序表示第一个read都在同一个链上，第二个read则在另一条链上。
      • -a [num]: 最低质量， 剔除低于阈值的read
      • -m 模式：union,intersection-strict,intersection-nonempty对应着上图的三种模式。
      • **-i **：GFF attribute to be used as feature ID (default,suitable for Ensembl GTF files: gene_id)
    • HTSEQ-count脚本：
    for i in `seq 56 58`
do
htseq-count -s no -r name -f bam SRR35899${i}_nsort.bam ../../Database/human/Homo_sapiens.GRCh38.87.chr.gtf > SRR35899${i}_matrix.count 2> SRR35899${i}.log
done

    • 奇怪的错误：

      image 在跑的时候总是存在libbz2.so.1.0不存在，奇奇怪怪的linux文库问题，在之前安装samtools=1.6版本时候也遇到这样情况。此问题有待解决。特么花了两个小时的时间就在处理这个问题，最后发现可能是conda软件在安装pysam跟htseq时候会有库的问题，换用pip install HTSeq即可解决问题。

    • 运行结果：


      image

    <font color=orange>featureCounts定量</font>

    • 基本使用Usage：
    featureCounts [options] -a <annotation_file> -o <output_file> input_file1 [input_file2] ...

### 参考其他命令行
featureCounts -T 4 -t CDS -s -g Name -C -a gtf -o readscount_cdf_out 1.sam 3.sam 5.sam ...


$featureCounts -T 5 -p -t exon -g gene_id -a $mm10_gtf -o  counts.txt   *.bam

    <font color=orange>脚本合并各个表达量的文件生成为表达矩阵</font>

    • Perl里利用哈希数组来存入数据，其中基本知识点逻辑：
      • 匹配.count文件的文件名，作为后续合并的header，
      • 将每个基因名做key，value为一维数组，n->[num];
      • 每个hash依次输出,如果不存在则复制为"0"
      • foreach $i (0..$#ARGV-1)
      • $hash{$line[0]}[$i]=$line[1];
      • print $id, "\t", join("\t", @{$hash{$id}}),"\n"
    #!/usr/bin/perl -w

$header= "Gene";
foreach $i ( 0..@ARGV-1){
####    $ARGV[$i]=~/(.*?)_(.*?).txt/;
    $ARGV[$i]=~/(.*?)_matrix\.count/;
    $header.="\t$1";

    open IN,"$ARGV[$i]" or die "$!";
    while(<IN>){
        chomp;
        @line=split;
        $hash{$line[0]}[$i]=$line[1];
    }
}
print"$header\n";
foreach $gene_id(sort keys %hash){
    foreach $i(0..@ARGV-1){
        if(!$hash{$gene_id}[$i]){
            $hash{$gene_id}[$i]=0;
        }
    }
    print $gene_id,"\t",join("\t",@{$hash{$gene_id}}),"\n";
}

    • 结果：


      image

    <font color=orange>重新对小鼠的4个数据进行比对-计数</font>

    ### 下载小鼠的hisat2 参考基因组index数据
wget -b ftp://ftp.ccb.jhu.edu/pub/infphilo/hisat2/data/grcm38.tar.gz

### 下载小鼠的gtf注释数据：
wget -b wget ftp://ftp.ensembl.org/pub/release-90/gtf/mus_musculus/Mus_musculus.GRCm38.90.gtf.gz

### 对小鼠的数据进行比对，直接输出为bam文件，跳过输出的sam文件。
hisat2 -p 5 -x /sas/supercloud-kong/wangtianpeng/Database/mouse/grcm38/genome -1 /sas/supercloud-kong/wangtianpeng/data/biotrainee/1_raw_data/SRR3589959_1.fastq.gz -2 /sas/supercloud-kong/wangtianpeng/data/biotrainee/1_raw_data/SRR3589959_2.fastq.gz 2>/sas/supercloud-kong/wangtianpeng/data/biotrainee/5_samtools/SRR3589959.log | samtools view -Sb - > SRR3589959.bam

### HISAT2比对的循环脚本
for i in `seq 60 62`
do
nohup hisat2 -x /sas/supercloud-kong/wangtianpeng/Database/mouse/grcm38/genome -1 /sas/supercloud-kong/wangtianpeng/data/biotrainee/1_raw_data/SRR35899${i}_1.fastq.gz -2 /sas/supercloud-kong/wangtianpeng/data/biotrainee/1_raw_data/SRR35899${i}_2.fastq.gz 2>/sas/supercloud-kong/wangtianpeng/data/biotrainee/5_samtools/SRR35899${i}.log | samtools view -Sb - > /sas/supercloud-kong/wangtianpeng/data/biotrainee/5_samtools/SRR35899${i}.bam & 
done

### HTSeq-count计数
for i in `seq 59 62` 
do 
nohup htseq-count -s no -r name -f bam -i gene_name ../5_samtools/SRR35899${i}.bam /sas/supercloud-kong/wangtianpeng/Database/mouse/Mus_musculus.GRCm38.90.gtf >SRR35899${i}_matrix.count 2> SRR35899${i}.log & 
done

    11/22晚11点。Raw_count矩阵导入到R里的探索放在之后的差异基因分析里面吧。回顾知识点，主要是将HTSeq定量的原理，标准化FPKM/RPKM/TPM的原理，HTSeq-count软件的使用，还有重新将59~62的小鼠的数据跑了一遍。花了不少时间，好在也学到了不少。慢慢向前走吧。

    参考文档

    1. 【使用HTSeq进行有参转录组的表达量计算】http://www.chenlianfu.com/?p=2438
    2. 【HOPTOP-reads计数】https://mp.weixin.qq.com/s?__biz=MzI1MjU5MjMzNA==&mid=2247484502&idx=1&sn=ae6e08bc8ac9374799436f3d301a09ec&chksm=e9e02df7de97a4e14077ca04ac6727ac06012e7d3c3b1ce189bafd679e31b23507078bc0e548&scene=21#wechat_redirect
    3. 【转录组入门（6）：reads计数】http://www.jianshu.com/p/24cf44b610a7
    4. 【genek-转录组原理篇】http://www.genek.tv/
    5. 【featureCounts or htseq-count?】http://bioinformatics.cvr.ac.uk/blog/featurecounts-or-htseq-count/
    6. 【转录组HTseq对基因表达量进行计数】http://www.bio-info-trainee.com/244.html
上一篇 下一篇

猜你喜欢

热点阅读