使用GDC API查看和下载TCGA的数据
欢迎关注”生信修炼手册”!
API是应用程序编程接口,很多的网站都有对应的API,方便程序抓取数据,比如NCBI, EBI, KEGG等等,GDC也有对应的API, 可以方便的查询和下载TCGA的数据,API的网址如下
https://gdc.cancer.gov/developers/gdc-application-programming-interface-api
API都有一个base url, 通过base url加上内置的指令,可以实现特定数据集的访问和下载,GDC API的base url如下
https://api.gdc.cancer.gov/<endpoint>
https://api.gdc.cancer.gov/legacy/<endpoint>
第一种访问和操作GDC harmonized database, 第二种访问和操作GDC legacy archive。endpoint是内置的指令,支持的指令如下所示
从功能上可以划分为查询,下载,提交数据三大块,常用的的功能包括查询和下载
1. 查询
通过JSON
这种格式进行数据交换,以files
为例,以其对应的uuid
为例进行查询的用法如下
curl https://api.gdc.cancer.gov/files/5891556e-0b86-42bd-aa0e-a319471dc574
返回的数据如下
这种格式就是JSON
, 可以和网站上的查询结果比较一下,链接如下
https://portal.gdc.cancer.gov/files/5891556e-0b86-42bd-aa0e-a319471dc574
可以看到API返回的信息中包含了网页上提供的基本信息。在实际使用中,更多的是按照某种条件进行检索,相关的参数很多,这里就不展开了。
2. 下载
通过download
指定,可以根据文件的uuid
进行下载,有GET和POST两种方式。GET适用于同时下载几个文件,POST适用于大批量下载。
以GET方式下载的用法如下
curl --remote-name --remote-header-name 'https://api.gdc.cancer.gov/data/5891556e-0b86-42bd-aa0e-a319471dc574'
如果有多个文件的uuid,用逗号连接,示意如下
curl --remote-name --remote-header-name 'https://api.gdc.cancer.gov/data/e3228020-1c54-4521-9182-1ea14c5dc0f7,18e1e38e-0f0a-4a0e-918f-08e6201ea140'
以POST方式下载需要主要准备一个文件,记录要下载文件的uuid编号,该文件可以有两种格式,第一种示意如下
ids=556e5e3f-0ab9-4b6c-aa62-c42f6a6cf20c&ids=e0de63e2-02f3-4309-9b24-69f4c24e85fc
假设该文件名称为uuids
, 下载的命令为
curl --remote-name --remote-header-name --request POST 'https://api.gdc.cancer.gov/data' --data @uuids
第二种示意如下
采用该文件进行下载的命令如下
curl --remote-name \
--remote-header-name \
--request POST \
--header 'Content-Type: application/json' \
--data @uuids \
'https://api.gdc.cancer.gov/data'
以上只是GDC API的基本用法,更多用法请参考官方文档,链接如下
https://docs.gdc.cancer.gov/API/Users_Guide/Getting_Started/
通过熟练使用API,可以实现程序自动化的下载TCGA数据,有很多TCGA数据下载的R包,就是通过调用API来实现对应的功能。
·end·
—如果喜欢,快分享给你的朋友们吧—
扫描关注微信号,更多精彩内容等着你!