chip-seq熟悉Linux系统数据挖掘

使用wget下载NCBI GEO数据库的sra文件

2019-03-20  本文已影响23人  BioGou

1.常规下载方式:prefetch

    对于常规下载sra数据来说,NCBI提供了它自己的一套工具(SRA-Toolkit),其中用prefetch来下载数据,用fastq-dump来解压数据。

1.1 首先需要获取数据信息

    一般来说,我们需要下载的数据都是来自于文献已经发表的,在文献中都会给一个GEO号,它长这个样子GSE106826。 然后我们就可以直接到GEO DataSets中去搜索该数据集中的数据了。如下图所示,直接点击Search:


然后我们就可以转到这个有文章title的界面,如下所示:
点击进去就可以进入该GEO号对应的数据集了:

那么我们的sra文件在哪里呢?可以看到下边有一个SRA SRP124852,没错,就是它了!点进去:

然后选择任意一个连接点进去,进入到一个像这样的界面:

点击里边的All run, 最终,终于找到了我们所有sra信息所在的位置:

在这个页面里,我们需要下载两个table,就是Download下边的两个:RunInfo TableAccession List. 其中RunInfo Table会告诉你sample的信息,比如是什么细胞类型,来自什么组织;而Accession List则是储存里我们sra文件的获取序列号:
$ cat SRR_Acc_List.txt
SRR6283792
SRR6283793

1.2 然后用prefetch下载数据

  有了以上的sra Accession number,就可以直接用脚本命令下载数据了。

# 切换到SRR_Acc_List.txt所在的文件夹
$ ls 
SRR_Acc_List.txt
# 然后用以下命令下载
$ prefetch `less SRR_Acc_List.txt`
#如果想要后台运行可以使用nohup加&
#这样即使退出终端也不会断掉的
$ nohup prefetch `less SRR_Acc_List.txt` &

2. wget 下载sra文件

  之前经常使用prefetch下载sra文件,而且量比较大,但是经常会出现time-out这种情况,会导致很多文件下载不下来,所以就考虑用wget试一下,说干就干!

2.1 了解储存位置信息

  NCBI的ftp网站上可以找到我们想要的sra文件,如果你比较一下就会发现,这些储存的连接是有规律可循的,如下两个文件:

ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR690/SRR6904179/SRR6904179.sra
ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR690/SRR6904180/SRR6904180.sra

你会发现它们前半部分都是一样的,都以ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/开头,而后边紧跟的是SRR 序列号SRR6904179的前6位SRR690,后边的就更好说了,那我们简单写一个脚本就可以用wget批量下载数据了。

2.1 wget下载文件

  搞清楚文件储存连接,我们就可以通过把SRR序列号赋值给变量的方式来批量下载文件了:

ftp='ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR'

mkdir sra  # make a output directory
cat SRR_Acc_List.txt |  while read i
 do
       SRR=$(echo ${i:0:6}) 
       wget -P ./sra ${ftp}/${SRR}/${i}/*
 done

  除了以上两种下载方式,还有一个更高效的ascp, 据说效率很高,但是服务器并没有这个软件,所以没有试过。wget效率好像并不是很高,先试一下再说吧。

上一篇下一篇

猜你喜欢

热点阅读