使用wget下载NCBI GEO数据库的sra文件
2019-03-20 本文已影响23人
BioGou
1.常规下载方式:prefetch
对于常规下载sra数据来说,NCBI提供了它自己的一套工具(SRA-Toolkit),其中用prefetch
来下载数据,用fastq-dump
来解压数据。
1.1 首先需要获取数据信息
一般来说,我们需要下载的数据都是来自于文献已经发表的,在文献中都会给一个GEO号,它长这个样子GSE106826
。 然后我们就可以直接到GEO DataSets中去搜索该数据集中的数据了。如下图所示,直接点击Search:
然后我们就可以转到这个有文章title的界面,如下所示:
点击进去就可以进入该GEO号对应的数据集了:
那么我们的sra文件在哪里呢?可以看到下边有一个
SRA SRP124852
,没错,就是它了!点进去:然后选择任意一个连接点进去,进入到一个像这样的界面:
点击里边的
All run
, 最终,终于找到了我们所有sra信息所在的位置:在这个页面里,我们需要下载两个table,就是Download下边的两个:
RunInfo Table
和 Accession List
. 其中RunInfo Table
会告诉你sample的信息,比如是什么细胞类型,来自什么组织;而Accession List
则是储存里我们sra文件的获取序列号:
$ cat SRR_Acc_List.txt
SRR6283792
SRR6283793
1.2 然后用prefetch下载数据
有了以上的sra Accession number,就可以直接用脚本命令下载数据了。
# 切换到SRR_Acc_List.txt所在的文件夹
$ ls
SRR_Acc_List.txt
# 然后用以下命令下载
$ prefetch `less SRR_Acc_List.txt`
#如果想要后台运行可以使用nohup加&
#这样即使退出终端也不会断掉的
$ nohup prefetch `less SRR_Acc_List.txt` &
2. wget 下载sra文件
之前经常使用prefetch下载sra文件,而且量比较大,但是经常会出现time-out这种情况,会导致很多文件下载不下来,所以就考虑用wget试一下,说干就干!
2.1 了解储存位置信息
NCBI的ftp网站上可以找到我们想要的sra文件,如果你比较一下就会发现,这些储存的连接是有规律可循的,如下两个文件:
ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR690/SRR6904179/SRR6904179.sra
ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR690/SRR6904180/SRR6904180.sra
你会发现它们前半部分都是一样的,都以ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/
开头,而后边紧跟的是SRR 序列号SRR6904179
的前6位SRR690
,后边的就更好说了,那我们简单写一个脚本就可以用wget批量下载数据了。
2.1 wget下载文件
搞清楚文件储存连接,我们就可以通过把SRR序列号赋值给变量的方式来批量下载文件了:
ftp='ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR'
mkdir sra # make a output directory
cat SRR_Acc_List.txt | while read i
do
SRR=$(echo ${i:0:6})
wget -P ./sra ${ftp}/${SRR}/${i}/*
done
除了以上两种下载方式,还有一个更高效的ascp
, 据说效率很高,但是服务器并没有这个软件,所以没有试过。wget
效率好像并不是很高,先试一下再说吧。