通常,我们都是利用prefetch从NCBI上获取数据,然后用fasterp-dump/fastq-dump 转成fastq。但遗憾的SRA的数据是原数据的有损压缩,比如说我19年参与发表的文章里单细胞数据上传的是3个文件,但是当时的faster-dump/fastq-dump只能拆出2份(目前可以顺利拆出三份)。
但在https://trace.ncbi.nlm.nih.gov/Traces/index.html?view=run_browser&display=metadata 搜索SRR8485805是可以看到我上传的三个原始数据。
然而这些数据存放位置以S3开头,无法直接下载,必须需要通过Cloud Data Delivery的方式进行获取。
为什么,我们需要下载原始数据呢?
- 一些比对后的BAM,转成SRA后,可能就只能得到单端测序,而不是原来的双端
- PacBio HiFi测序输出的bam包含的编号信息,是纠错是必须的,不能损失
- 一些10x数据可能从sra解压缩成fastq后会出现问题
因此,有些时候,我们就需要获取最原始的作者的上传文件了。
创建Amazon的AWS账号
为了使用Cloud Data Deliver,我们你需要创建一个账号:https://aws.amazon.com/cn/cli/ 【需要一张信用卡用于支付账单】。在注册时候时候选择语音播报,我发现短信发送太慢了。
注:Amazon 的AWS如果90天不用,账号就会被停用,然后你就得重新创建账号。
最后一步,选择基本支持-免费(能省就省)
在AWS的控制台中(console.aws.amazon.com),选择存储的S3服务。
之后,我们创建一个存储桶。
大部分参数都保持默认,只需要修改两个配置,存桶的名称必须唯一,地区必须是美国的N. Virginia 。
创建成功后,就可以回到NCBI这一边。
NCBI创建数据传输请求
通过https://www.ncbi.nlm.nih.gov/Traces/cloud-delivery/访问NCBI的云数据传递服务(这个服务是需要你登录NCBI)。
然后,我们需要选择我们需要获取的数据,通过https://www.ncbi.nlm.nih.gov/Traces/study/ 可以检索你需要的数据,例如SRR8485805。勾选需要传输的数据后,点击Deliver Data。
接着是关键的第二部,我们需要输入Bucket name,让NCBI给我们生成一个策略。
拿到这个策略后,我们需要访问https://s3.console.aws.amazon.com/s3/buckets,选择我们之前创建的桶
选择权限,并点击存储桶策略的编辑。
然后将粘贴NCBI上复制的语句,并保存更改即可。
最后勾选,你需要获取的数据,点击Deliver data。
需要注意的是AWS的存储服务时收费的,它的定价页面见https://aws.amazon.com/cn/s3/pricing/
数据发起请求和请求完成,你都会在你登录账号对应的邮箱中收到邮件。
数据下载
获取数据之后,就可以从S3上下载数据了。
在此之前,我们需要先创建一个安全凭证。
之后从https://docs.amazonaws.cn/cli/latest/userguide/getting-started-install.html获取你对应平台的软件
例如Linux的安装方式如下(以非root权限安装)
curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
./aws/install -u -i ~/.local -b ~/.local/bin
# 安装成功的提示信息
You can now run: /home/xzg/.local/bin/aws --version
用密钥配置aws,
aws configure
后续,就可以上传和下载数据了,例如把数据传到aws
aws s3 cp app.R s3://xzg-aws-ncbi
# upload: ./app.R to s3://xzg-aws-ncbi/app.R
# 查看档期数据
aws s3 ls s3://xzg-aws-ncbi
2023-07-15 10:39:29 521416 app.R
运行数据获取命令
# 命令形式如下
aws s3 cp --recursive s3://<bucket>/<folder> <local_folder>
# copy我从NCBI后去数据
aws s3 cp --recursive s3://xzg-aws-ncbi/SRR17027125 SRR17027125
当然,你也可以选择在AWS的S3网页端进行下载。
下载速度基本上不受限,只跟你家里的带宽有关。
可能的问题: An error occurred (RequestTimeTooSkewed) when calling the PutObject operation: The difference between the request time and the current time is too large
这可能是服务器的上时间偏差太大了 ,用chronyd矫正下(root权限)
chronyd -q 'server 0.pool.ntp.org iburst'
费用
分为两个部分:
- 存储上,标准的S3是每个月,前50T每 GB 0.023 USD,差不多是2毛钱1G
传输上:
- 传入不要钱
- 每月前 100GB 传出至互联网的数据,所有 AWS 服务和区域加总计算(中国和 GovCloud 区域除外)。
- 前10TB 每 GB 0.09 USD, 差不多是7毛钱1G
假设,你传了200G,不考虑免费额度,在带宽上花费140,然后存储是每天一块多(不需要的数据赶紧删,省钱)。