高速下载测序数据（SRA，Fastq等）

一、测试环境及工具

• Linux（Ubuntu 18.04.1）

• Aspera （Aspera Connect version 3.9.9.177872）

image

二、Aspera 下载

官网下载：http://downloads.asperasoft.com/en/downloads/8?list

image

csdn下载：https://download.csdn.net/download/u011262253/10402259

wget 下载：wget https://download.asperasoft.com/download/sw/connect/3.9.9/ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.tar.gz

三、安装及配置

1. 解压

tar -zxvf ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.tar.gz

2. 安装

./ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.sh

3. 配置许可

sudo cp ~/.aspera/connect/etc/aspera-license /usr/local/bin/

4. 配置程序环境变量

vim ~/.bashrc

在末尾加上你的aspera所在目录

export PATH="/home/baimoc/.aspera/connect/bin:$PATH"

立马生效

source ~/.bashrc

5. 配置秘钥

新建配置目录

mkdir /home/baimoc/.aspera/config/

复制到配置目录

cp ~/.aspera/connect/etc/asperaweb_id_dsa.openssh /home/baimoc/.aspera/config/

四、测试

1. 一个例子

ascp -QT -L /home/baimoc/logs -l 100M -P33001 -i /home/baimoc/.aspera/config/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR689/SRR689233/SRR689233_1.fastq.gz ./out_path

2. 常用参数介绍

命令	含义
ascp	aspera的可执行文件
-QT	禁用进度显示
-L /home/baimoc/logs	日志文件路径
-l 100M	最大传输
-P33001	SSH传输端口
-i /home/baimoc/.aspera/config/asperaweb_id_dsa.openssh	密钥文件路径
era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR689/SRR689233/SRR689233_1.fastq.gz	资源路径
./out_path	文件保存路径

3. 下载地址的构建

EBIera-fasp@fasp.sra.ebi.ac.uk:/vol1/ERA012/ERA012008/sff/library08_GJ6U61T06.sff

NCBI：anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR507/SRR5077625/SRR5077625.sra

可以看到最关键的前缀是：era-fasp@fasp.sra.ebi.ac.uk:或anonftp@ftp-private.ncbi.nlm.nih.gov:

4. EBI查询整个项目的资源文件

https://www.ebi.ac.uk/ena/browser/view/PRJNA189204

image

6. 查看下载链接

提取对应列，即可下载相应的资源文件

image

五、为什么这里要建议选EBI，而不用NCBI？

这个是在 NCBI 下载时的链接及提示：

image image

简单来说就是：

• 现在NCBI正在将数据传输至亚马逊云 AWS 和 谷歌云 GS

• 美国境内服务器免费，其他的服务器收费，用户自己掏钱

• 由于正在迁移，所有NCBI也不保证数据的完整性

• 虽然也提供了免费的链接，但是实测速度奇慢无比