使用aspera下载SRA数据速度高达 下载中国gsa数据? ascp

转载自:秘籍 | 惊了,使用aspera下载SRA数据速度高达 291Mb/s - 简书

一、安装Aspera Connect

  • 安装Linux版的Aspera Connect

# 上面链接是最新版,因此下载的时候去官网复制最新的链接地址下载,否则可能会报错
wget https://d3gcli72yxqn2z.cloudfront.net/connect_latest/v4/bin/ibm-aspera-connect-3.11.2.63-linux-g2.12-64.tar.gz
tar -zvxf ibm-aspera-connect-3.11.2.63-linux-g2.12-64.tar.gz
sh ibm-aspera-connect-3.11.2.63-linux-g2.12-64.sh
# 永久添加到环境变量
echo 'export PATH=~/.aspera/connect/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

二、简单使用

  • 尝试下载一个小的数据集SRR14209175(343MB)

ascp -v -QT -l 300m -P33001 -k1 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR142/075/SRR14209175/SRR14209175.fastq.gz ./
  • 结果,峰值速度达

    \color{red}{291 Mb/s }

    ,速度惊人,

    \color{red}{343MB}

    数据用时

    \color{red}{16秒}

SRR14209175.fastq.gz                           100%  343MB  191Mb/s    00:16    
Completed: 351408K bytes transferred in 16 seconds (173214K bits/sec), in 1 file.

三、批量下载

  • 提前准备好【srr.list】文件,格式如下

$ cat srr.list
SRR12362016
SRR12362017
SRR12362022
SRR12362023
SRR12362024
SRR12362025
  • 新建shell脚本,命名为【asperaDownload.sh】,和【srr.list】放在同一个文件夹中

vi asperaDownload.sh
  • 将下面的内容复制进去,里面的${y}需要根据情况微调,${i: -2}表达的意思就是截取字符串的后2位,${i: -1}截取字符串的后1位。特别说明的原因就是,有时候${y}是取一位,有时候取两位,所以要根据情况微调

#!/bin/bash
for i in $(cat srr.list)
do 
x=$(echo $i | cut -b1-6)
y=`echo ${i: -2}`
echo "vol1/fastq/${x}/0${y}/${i}/${i}_1.fastq.gz" >>fastqid_trim.txt
echo "vol1/fastq/${x}/0${y}/${i}/${i}_2.fastq.gz" >>fastqid_trim.txt
doneascp -v -QT -l 300m -P33001 -k1 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh --mode recv --host fasp.sra.ebi.ac.uk --user era-fasp --file-list fastqid_trim.txt ./
rm fastqid_trim.txt
  • 执行脚本

sh asperaDownload.sh
  • 结果,峰值速度达

    \color{red}{292 Mb/s }

    ,速度惊人,

    \color{red}{10GB}

    数据用时

    \color{red}{27分钟}

SRR12362016_1.fastq.gz                         100%  858MB  291Mb/s    03:28    
SRR12362016_2.fastq.gz                         100%  873MB  281Mb/s    04:40    
SRR12362017_1.fastq.gz                         100%  868MB  204Mb/s    06:16    
SRR12362017_2.fastq.gz                         100%  885MB  209Mb/s    07:13    
SRR12362022_1.fastq.gz                         100%  960MB  292Mb/s    09:34    
SRR12362022_2.fastq.gz                         100%  977MB  291Mb/s    10:56    
SRR12362023_1.fastq.gz                         100%  887MB  291Mb/s    12:01    
SRR12362023_2.fastq.gz                         100%  907MB  292Mb/s    14:08    
SRR12362024_1.fastq.gz                         100%  874MB  285Mb/s    17:45    
SRR12362024_2.fastq.gz                         100%  888MB  287Mb/s    18:54    
SRR12362025_1.fastq.gz                         100%  845MB  291Mb/s    20:37    
SRR12362025_2.fastq.gz                         100%  858MB  291Mb/s    27:01    
Completed: 10942138K bytes transferred in 1621 seconds

四、ascp 参数说明

  • 不要深究软件、代码怎么实现的,其实会用、目的达到就行了,真想仔细研究可以ascp -h查看,也可以参考以下我总结的,就这么点参数需要注意:
参数说明
-v  唠叨模式,显示下载进度,以百分数显示,建议加上去
-QT-Q指开启自主设定传输速率的功能,而-T指启用密钥以获得最大传输速率,二者配合-l-m使用。-l指定最大传输速率,这也是我峰值速度达到291 Mb/s后没有继续上升的原因,因为我设置的是-l 300m,默认是-l 100m,理论推荐为300M-500M,。-m指定最小传输速率,一般不用设置,默认为-m 0
-P设置用于启动fasp会话的TCP端口,默认搭配-P 33001不要乱改,否则报错
-k断点续传,非常必要的功能,能在意外情况下,继续下载文件,以免重新下载,设置-k1即可。-k1检查文件属性,如果匹配则继续;-k2检查文件属性并做稀疏文件校验和,如果匹配就继续;-k3检查文件属性并进行完整的文件校验和,如果匹配就继续
-i密钥地址,为固定位置:~/.aspera/connect/etc/asperaweb_id_dsa.openssh,不要修改和移动
--mode两种模式可供选择sendrecv--mode send为上传模式,--mode recv为接收模式,默认为--mode recv,因此可在命令行中删除,没有大碍
--host指定下载地址的前缀信息,后缀信息不同网站也不同,具体要修改上述echo中的代码。但我推荐要下载就去ENA下载,不要去NCBI和DDBJ下载,前车之鉴。
--user访问数据库的用户名,指定是去哪里下载
--file-list指定存放下载路径的文件夹,脚本中自动生成与删除,不用过多操心
./最后不要忽略了保存路径

五、常见疑问

问:为什么我下载的这么慢,明明我设置的也是-l 300m却只有几Mb/s甚至几Kb/s

  • 答:1.你家或校园网的带宽就那么宽,你占满速度也提不上去。如千兆光纤(1000Mb/s)最大带宽就是1000÷8=125MB/s,你能达到的上限也就是125MB/s。又如校园网一般说办理的100M宽带,其实单位是M

    \color{red}{b}

    /s,因此最大带宽就是12.5MB/s如此类推。
    2.网络波动,或者其他人占用了一部分带宽(如看剧,下载东西),这种情况就只有在人少或者夜晚下载。
    3.EBI或者NCBI访问人数过多,造成网络拥挤,这种情况就只有多尝试几次。
    4.你没有加参数-Q,没有启动自主设定传输速率的功能,但不加默认是100M,理论上也不应该太慢,因此这种概率低

问:Session Stop (Error: Failed to open TCP connection for SSH)咋回事?

  • 答:加上-P33001即可
    如果依旧不行就不好搞了,因为需要管理员权限,可是我们做生信的哪里去搞服务器权限?但如果你老板给你了,那就运行下面的命令即可,然后再加上-P33001。我没有试验官方给出的解决方案,如果你成功了,请告知我,谢谢

iptables -I INPUT -p tcp --dport 33001 -j ACCEPT
iptables -I OUTPUT -p tcp --dport 33001 -j ACCEPT

问:断点续传对fasta/q序列文件的完整性有怎样的影响?

  • 答:

    \color{red}{影响较大!}

    ,因为后续分析对fa/fq文件格式要求严格,如fq但凡不是四行四行的出现,首先在QC的时候就会报错,因此断点续传看着有用,但有时候是自欺欺人,所以一但下载终止,最好的方法就是把要续传的文件删干净,一个以【.aspera-ckpt】结尾,一个以【.partial】结尾,删除后重新下载!

问:既然断点续传对fasta/q序列文件的完整性有影响,那我不加k1可以嘛?

  • 答:

    \color{red}{不可以!}

    ,因为当你批量下载的时候,如果有的下载成功了,有的下载失败了,这时候重新跑脚本的时候,k1的作用就体现了,他可以跳过下载完整的文件,避免重复下载浪费时间!

问:ascp: failed to authenticate, exiting. Session Stop (Error: failed to authenticate) 怎么回事?

  • 答:

    \color{red}{无解}

    ,因为这种并不能称之为错误,而是网络问题,今天不行,明天再次尝试可能就可以了。



作者:生信卷王
链接:https://www.jianshu.com/p/2987843d97e3
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/636701.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

54 C++ 多线程 条件变量 condition_variable,wait(),notify_one()

一 前提:之前代码的缺陷 在前面我们使用两个线程 ,一个线程读,一个线程写来完成对于共享数据访问。 我们把这个代码 先放在这里,方便回忆,然后说明代码可能存在的问题,然后改动。 class Teacher174 { pri…

奇偶性【高数笔记】

【如何判断奇偶性】 1.根据定义:f(x) - f(-x) 奇函数;f(x) f(-x) 偶函数 2.运算法则:四则运算和复合运算 #四则中,奇偶相加为非奇非偶 #复合运算:内偶则偶,内奇看外 3.已知的常识函数: 奇函数&…

Elasticsearch Index Shard Allocation 索引分片分配策略

Elasticsearch 索引分片的分配策略说明 在上一篇《索引生命周期管理ILM看完不懂你锤我 》(https://mp.weixin.qq.com/s/ajhFp-xBU1dJm8a1dDdRQQ)中,我们已经学会了索引级别的分片分配过滤属性,也就是在配置文件中指定当前节点的属…

牛客刷题之字符串

文章目录 字符串的长度(len)字符串的大小写删除字符串的指定字符字符串的重复输出(不用循环语句)字符的指定长度的输出(切片)字符串分隔 字符串的长度(len) str input()print(len(str))字符串的大小写 upper()全部大写 , lower()…

基于JavaWeb+SSM+Vue基于微信小程序的网上商城系统的设计和实现

基于JavaWebSSMVue基于微信小程序的网上商城系统的设计和实现 滑到文末获取源码Lun文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500套》 源码获取 滑到文末获取源码 Lun文目录 目录 1系统概述 1 1.1 研究背景 1 1.2研究目的 1 1.3系统设计思想…

HTB Monitored

Monitored user Nmap ┌──(kali㉿kali)-[~] └─$ nmap -A 10.10.11.248 Starting Nmap 7.80 ( https://nmap.org ) at 2024-01-14 23:42 CST Stats: 0:00:15 elapsed; 0 hosts completed (1 up), 1 undergoing Connect S

一步一步写线程之五线程池的模型之一领导者追随者模型

一、线程池的模型 在学习过相关的多线程知识后,从更抽象的角度来看待多线程解决问题的方向,其实仍然是典型的生产和消费者的模型。无论是数据计算、存储、分发和任务处理等都是通过多线程这种手段来解决生产者和消费者不匹配的情况。所以,得…

软件测试的工作描述

🔥 交流讨论:欢迎加入我们一起学习! 🔥 资源分享:耗时200小时精选的「软件测试」资料包 🔥 教程推荐:火遍全网的《软件测试》教程 📢欢迎点赞 👍 收藏 ⭐留言 &#x1…

Voc标签文件转Yolo标签文件程序

为了方便&#xff0c;我将代码封装成了桌面程序&#xff0c;GUI部分我就不介绍了&#xff0c;泛泛而谈到时啥都没学会。 一、yolo标签格式 我们看一下yolo标签的格式&#xff1a; <class index> <x center> <y center> <width> <height> \text…

使用LibreOffice做出第一个开源贡献的6种简单方法

2022年5月是LibreOffice月。这里有一些简单的方法来完成您的第一个开源贡献。 参与开源似乎有点令人困惑。从哪里开始?如何编码?和谁说话?别人怎么知道你做出了贡献&#xff0c;除此之外&#xff0c;还有人关心你吗? 事实上&#xff0c;这些问题都有一个简单的答案:LibreO…

蓝桥杯官网题目:2.包子凑数

链接:题目点这里 首先要知道一个数学定理裴蜀定理&#xff0c;还有完全背包的基本运用&#xff0c;这里只介绍前者 也可以看一下我的个人理解&#xff0c;我是第一次听说这个定理&#xff0c;理解可能有误差。 假设gcd(a,b)d,gcd是最大公约数的意思。即a&#xff0c;b的最大…

fabric.js 组件 图片上传裁剪并进行自定义区域标记

目录 0. 前言 1. 安装fabric与引入 2. fabric组件的使用 3. 属性相关设置 4. 初始化加载 4. 方法 5. 全代码 0. 前言 利用fabric组件&#xff0c;实现图片上传、图片”裁剪“、自定义的区域标记一系列操作 先放一张效果图吧&#x1f447; 1. 安装fabric与引入 npm i …

随身WiFi到底能不能买?一篇文章给你讲清楚!随身WiFi哪个品牌最靠谱 ,随身WiFi推荐第一名

随着移动设备的普及&#xff0c;人们对无线网络的需求越来越高。传统WiFi虽然覆盖面广&#xff0c;但移动性差&#xff0c;不能满足人们在外出、旅行或商务场合的上网需求。此时&#xff0c;随身WiFi的出现填补了这一空白。那么&#xff0c;随身WiFi究竟有何优势和劣势&#xf…

Zabbix 系统监控详解

1 介绍 1.1 摘要 本文深入浅出&#xff0c;切近实际运维应用&#xff0c;由 zabbix 3.4 版本入手&#xff0c;学习 zabbix 监控告警实现方式&#xff0c;由 zabbix 5.0 浅出实现快速部署、快速应用。本人从业多年&#xff0c;关注 zabbix 开源社区&#xff0c;以及 zabbix 官…

【开发必备】泳道图编辑工具及使用

1.什么是泳道图 事情的起因在与博主要和几位小伙伴一起开发一个小程序&#xff0c;那么涉及的人多时就需要用到需求文档这个玩意。然后博主当然要扛起写需求文档这项项目经理 &#xff08;牛马&#xff09;的职责了&#xff01; 然后&#xff0c;博主就发现需求文档中一个看似…

【C++算法】构建最优哈夫曼树

【C算法】构建最优哈夫曼树 作者&#xff1a;爱写代码的刚子 时间&#xff1a;2024.1.20 前言&#xff1a;本篇博客的代码均为自己独立完成&#xff0c;可能会有瑕疵 代码实现 #include <iostream> #include <vector> #include <queue> using namespace std…

idea上传本地项目到gitlab

1. idea上传本地项目到gitlab 1. 配置idea里本地安装的git位置 即选择 Settings -> Version Control -> Git -> Path to Git executable 2. 在idea创建本地仓库 即选择 VCS -> Create Git Repository 然后选择目录&#xff0c;默认就是选择的当前项目&#xff…

【Linux】03 GCC编译器的使用

一、编译过程 在使用gcc编译程序时&#xff0c;编译过程可以简要划分为4个阶段&#xff1a; 预处理、编译、汇编、链接 1.1 预处理&#xff08;preprocessing&#xff09; 这个阶段主要处理源文件中的#indef、#include和#define预处理命令&#xff1b; 这里主要是把一些include…

低代码开发让量化交易插上翅膀

随着技术的不断发展&#xff0c;低代码开发平台逐渐在各个领域崭露头角。其中&#xff0c;量化交易是一个领域&#xff0c;通过低代码开发平台&#xff0c;使得量化交易策略的开发和实施更加高效、灵活和可持续。 量化交易是基于算法和数学模型的自动化交易策略&#xff0c;近年…

RT-DETR算法优化改进:DCNv4更快收敛、更高速度、更高性能,效果秒杀DCNv3、DCNv2等 ,助力检测

💡💡💡本文独家改进:DCNv4更快收敛、更高速度、更高性能,完美和RT-DETR结合,助力涨点 DCNv4优势:(1) 去除空间聚合中的softmax归一化,以增强其动态性和表达能力;(2) 优化存储器访问以最小化冗余操作以加速。这些改进显著加快了收敛速度,并大幅提高了处理速度,DC…