Aspera数据下载快速应用
本来下载数据用的是NCBI官方指定的sratool-kit里面带的prefetch,本来实验室网速快还没啥问题,但是这次碰到了一个硬茬,压缩后数据15G,下载数次中断,后来转为使用aspera进行下载,快速入手记录。
该教程基于Linux环境
安装
conda熟练手都懂的
conda install -c hcc aspera-cli
配置参数
-v verbose mode 唠叨模式,能让你实时知道程序在干啥,方便查错。有些作者的程序缺乏人性化,运行之后,只见光标闪,压根不知道运行到哪了
-T 取消加密,否则有时候数据下载不了
-i 提供私钥文件的地址,我也不知道干嘛的,反正不能少,地址一般是~/.aspera/connect/etc中的asperaweb_id_dsa.openssh文件
-l 设置最大传输速度,一般200m到500m,如果不设置,反而速度会比较低,可能有个较低的默认值
-k 断点续传,一般设置为值1
-Q 不懂,一般加上它
-P 提供SSH port,一般是33001,反正我不懂
参考:https://blog.csdn.net/herokoking/article/details/78890567
简单使用
-
NCBI 下载数据
-
先在GEO里面找打你的目的数据,及其SRR号(举例):SRR653396
-
在FTP位置ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/找到该文件:ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR653/SRR653396/SRR653396.sra
-
替换以下代码
~/biosoft/anaconda/etc/asperaweb_id_dsa.openssh
为你自己安装后的openssh位置
/sra/sra-instant/reads/ByRun/sra/SRR/SRR653/SRR653396/SRR653396.sra
为文件ftp地址的路径,去掉开头的地址然后使用公用账号anonftp进行下载,最后成型的下载代码为:ascp -v -k 1 -T -l 200m -i ~/biosoft/anaconda/etc/asperaweb_id_dsa.openssh anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR653/SRR653396/SRR653396.sra ./
-
新消息
洲更给了额外信息,当安装了aspera以后,prefetch会优先调用aspera,下载代码为:
prefetch SRR653396
-
ENA 下载数据
-
一样的步骤,不过是去ENA直接搜索,复制fastq.gz文件的地址,进行依葫芦画瓢式的替换后进行下载
-
成型下载代码为:
ascp -v -k 1 -T -l 200m -P 33001 -i ~/biosoft/anaconda/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR949/SRR949627/SRR949627_1.fastq.gz ./
-
结语
透,下载速度是真滴快。
另外,洲更也在简书以及生信媛公众号上发过如何上传数据,本篇和其组成UP/DOWN LOAD姐妹篇。
文首图片来自《海街日记》