亚马逊云科技HPC解决方案,帮助浙江大学实现成本和科研任务的双丰收

浙江大学土壤学科是朱祖祥院士等几代土壤科学家共同创建的A+国家重点学科,整体实力雄厚,优势特色明显,总体水平居国内前列。在亚马逊云科技科研创新支持计划(Amazon Web Services Cloud Credits for Research)的多次支持下,运用亚马逊云科技的高性能计算和专属行业解决方案,浙江大学土壤学科研团队整体在2个月内,成功完成了土壤微生物宏基因组数据自动化处理,总计超过5000个测序数据。

 

该团队目前使用的亚马逊云科技服务包括:Amazon Batch、Amazon Step Functions、Amazon DynamoDB、Amazon Graviton2、Amazon Simple Storage Service(Amazon S3)等。

机会:科研IT系统环境和技术挑战

土壤微生物作为地球上生物多样性的重要组成部分,在支撑陆地生态系统过程和功能中发挥着不可替代的作用。然而长期以来,由于土壤生物系统的复杂性以及受限于土壤生物学研究技术手段,人们对土壤微生物的多样性和功能的认知仍然相当有限。随着科研领域的不断拓展和深化,越来越多的科学问题需要依靠强大的算力支持来进行模拟、计算和分析。

在上云前,该团队的IT系统采用了学校机房自建服务器、租用的IDC服务器以及超算中心。由于学校机房自建服务器的存储利用率已超过95%,浙江大学土壤学科研团队宏基因数据分析的科研任务出现了资源不足的瓶颈,不同科研课题都受到了算力短缺的限制,影响了研究进展。另外,租用的IDC服务器和超算中心仅提供硬件资源,难以提供专业的服务。

“经过我们的调研发现,国外同行业的科研机构利用亚马逊云科技的HPC解决方案以及NCBI公开数据集进行科研,在短时间内获得了分析结果并发表了高质量论文。”浙江大学土壤学王轶玲博士说道:“此外,我们在阅读文献的过程中发现了一篇论文,该论文基于亚马逊云进行计算流程设计,符合我们的期望,于是开始应用亚马逊云科技。”

解决方案:按需定制HPC解决方案,实现成本和完成科研任务的双丰收

浙江大学土壤学科与亚马逊云科技展开合作,在土壤微生物科研上应用了亚马逊云科技在生信行业基于Amazon Batch的容器化HPC解决方案。亚马逊云科技为不同的科研课题提供定制化的解决方案,帮助他们解决各自的痛点。

针对宏基因组数据处理自动化流程改造,亚马逊云科技提供Amazon Step Functions和Amazon Batch解决方案,实现了自动化的数据处理;针对大规模微生物信息挖掘任务,亚马逊云科技提供了基于Amazon Batch的HPC解决方案,轻松实现批量计算作业;针对大规模微生物序列比对计算,解决方案基于HPC架构,并且额外进行了Amazon Graviton2处理器的优化,在性能和成本效益方面都取得了巨大的提升。

宏基因组数据处理自动化流程改造:

Amazon Step Functions+Amazon Batch解决方案

宏基因组数据处理通常需要进行多个分析步骤,整个流程冗长而繁琐。Amazon Step Functions能够将多个亚马逊云科技服务协调到无服务器工作流中,自动触发和追踪每个步骤。在此基础上借助Amazon Batch在容器化改造及任务调度方面的能力,最终让宏基因组数据处理实现了流程自动化,从而实现应用的快速构建和更新,同时快速查询处理异常任务,让科研工作者更加专注于科研任务,而无需手动运行繁琐的步骤。

 

大规模微生物信息挖掘任务:基于Amazon Batch的HPC解决方案

大规模微生物信息挖掘任务所使用的HPC涉及大量算力,如何让分布式算力得到妥善应用,需要对算力资源有良好而清晰的规划与安排。Amazon Batch能根据提交的批处理作业的数量和特定资源要求,动态预置计算资源的最佳数量和类型,从而最大限度地提升计算效率和性能。即使科研团队需要同时运行数千个任务,同时启动大量的容器来处理,Amazon Batch也能轻松调度。

 

大规模微生物宏基因测序:基于Amazon Batch的HPC解决方案,

额外进行Amazon Graviton2优化

由于微生物序列比对计算任务量较大,需要耗费大量的时间和费用。相较于传统的X86架构,亚马逊云科技自研的基于ARM架构的Amazon Graviton处理器具有更高的性价比。在科研团队应用Graviton2处理器后,发现其性能表现良好,大约有一半的任务可以通过Amazon Graviton以更低成本高效地运行,最终帮助科研人员顺利完成科研任务的同时,兼具成本效益。

 

业务成果:2个月内完成5000+宏基因组数据分析任务实现创新科研

亚马逊云科技的HPC解决方案加速了土壤微生物信息挖掘,助力浙江大学土壤学科研团队在2个月内成功完成了5000+的宏基因组数据分析。

创新科研合作,2个月内完成过去1年时间才能完成的数据分析任务

亚马逊云科技在云端科研业务及高性能计算HPC业务中的优势不仅体现在合成生物学、微生物等科研领域,还为环境工程、食品工业(含酒业)、化学工程、生命科学工程等研究领域提供了从实验室到产业化研发的全链路数字化革新解决方案,例如:云上科研实验室、云上科研数据分析平台、高性能计算、量子计算、知识图谱等。

降本增效,整体性价比提升32.8%

科研团队利用Amazon EC2 Spot实例和Amazon S3智能分层等服务来优化成本。通过使用Spot实例,客户能够以较低的价格获得计算资源,而智能分层则帮助客户根据数据的访问模式将存储成本降低到最低。

除此之外,通过在Graviton上进行代码改造,亚马逊云科技进一步帮助客户提升了性能并降低了成本。经过测试和实践,使用Graviton处理器可以将成本降低约20%,同时性能提升16%,综合实现了32.8%的性价比提升。这意味着客户可以以更低的成本获得更高的性能,为其宏基因组数据分析提供了更优化的解决方案。这些改进措施和技术优化为客户节省了大量的成本,并提升了整体的性能表现。

客户至尚,以及远超行业水准的专业服务

亚马逊云科技提供NCBI公开数据集,包含了丰富的宏基因测序数据,可以帮助客户进行实验和研究。这些数据集帮助客户节省了数据收集和准备的时间成本,同时也提供了标准化的参考,使客户能够更加方便地进行比较和分析。

此外,亚马逊云科技客户服务团队具备专业的行业知识和经验,能够理解客户的实际应用场景,并提供针对性的解决方案。浙江大学土壤学王轶玲博士说道:“亚马逊云科技的解决方案架构师团队帮助我们不断优化性能和成本,还协助进行POC(概念验证)阶段的实施,确保科研团队成功实施项目。”

亚马逊云科技不仅致力于提供稳定可靠的技术和解决方案,还注重提供全方位的支持和服务,帮助客户在合成生物学、微生物研究领域取得卓越的成果。

未来,双方将通过进一步的创新科研合作,提升浙江大学土壤学科的国际影响力,帮助浙江大学土壤学科研团队更有效地开展学术研究活动。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/17068.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

yolov8系列[五]-项目实战-yolov8模型无人机检测

yolov8系列[五]-项目实战-yolov8模型无人机检测 项目介绍项目展示功能简介代码结构如何启动 开发者模式1. 安装依赖环境2. 启动程序 源代码下载其他 项目介绍 无人机识别项目,无人机搭载nvidia jetson边缘计算板子,进行实时识别。使用yolov8算法,训练了识别无人机的…

【计算机网络】网络层协议 -- IP协议

文章目录 1. 网络层做了什么事2. IP协议的简介3. IP协议格式4. 分片与组装5. 网段划分6. 特殊的IP地址7. IP地址的数量限制8. 私网IP地址和公网IP地址9. 路由 1. 网络层做了什么事 保证数据可靠地从一台主机到另一台主机 当双方在进行基于TCP的网络通信时,要保证将数…

HCIP OSPF链路状态类型总结

OSPF的LSA OSPF是典型的链路状态路由协议,使用LAS(链路状态通告)来承载链路状态信息。LSA是OSPF的一个核心内容,如果没有LSA,OSPF 是无法描述网络的拓扑结构及网段信息的,也无法传递路由信息,更…

hbuilderx主题色分享-github风格

效果 步骤 hbuilderx总共有三种主题,绿柔主题Default,酷黑主题Monokai,雅黑主题Atom One Dark,修改主题色是基于三种主题之一的,不能直接创建一个新主题,比如下方配置是基于Atom One Dark(对象名为[Atom One Dark]),则当前hbuild…

Profinet转EtherNet/IP网关连接AB PLC的应用案例

西门子S7-1500 PLC(profinet)与AB PLC以太网通讯(EtherNet/IP)。本文主要介绍捷米特JM-EIP-PN的Profinet转EtherNet/IP网关,连接西门子S7-1500 PLC与AB PLC 通讯的配置过程,供大家参考。 1, 新建工程&…

06-MySQL-基础篇-SQL之DCL语句

SQL之DCL语句 前言DCL 管理用户查询用户创建用户修改用户密码删除用户说明 权限控制常见权限描述查询权限授予权限撤销权限说明 前言 本篇来学习下SQL中的DCL语句 DCL DCL英文全称是Data Control Language(数据控制语言),用来管理数据库用户、控制数据库的访问权…

有哪些类似bootstrap的纯css框架?

前言 下面是一些类似bootstrap的css框架,以及其开源的仓库和网址附上,整理不易,希望多多点一下赞同收藏喜欢哈~ 1、Tailwind Star:70.5k Tailwind CSS 是一个实用的工具集,用于快速构建现代化的自定义用户界面。它提…

7、单元测试--测试RestFul 接口

单元测试–测试RestFul 接口 – 测试用例类使用SpringBootTest(webEnvironment WebEnvironment.RANDOM_PORT)修饰。 – 测试用例类会接收容器依赖注入TestRestTemplate这个实例变量。 – 测试方法可通过TestRestTemplate来调用RESTful接口的方法。 测试用例应该定义在和被测…

vue2实现一个树型控件(支持展开树与checkbox勾选)

目录 vue2实现一个树型控件(支持展开树与checkbox勾选)TreeItem.vueTree.vue效果 vue2实现一个树型控件(支持展开树与checkbox勾选) TreeItem.vue <template><div class"tree-item"><span click"toggleExpanded" class"icon" v…

Sentinel Dashboard集成Nacos

1.前言 当项目上Sentinel Dashboard做流量监控的时候&#xff0c;我们可以通过Sentinel控制台修改限流配置&#xff0c;但当我们使用Nacos作为配置中心动态配置流控规则的时候&#xff0c;问题就来了。 首先我们要明白&#xff0c;Sentinel Dashboard的配置是从机器的内存中加…

TCP网络通信编程之网络上传文件

【图片】 【思路解析】 【客户端代码】 import java.io.*; import java.net.InetAddress; import java.net.Socket; import java.net.UnknownHostException;/*** ProjectName: Study* FileName: TCPFileUploadClient* author:HWJ* Data: 2023/7/29 18:44*/ public class TCPFil…

【论文简述】DIP: Deep Inverse Patchmatch for High-Resolution Optical Flow(CVPR 2022)

一、论文简述 1. 第一作者&#xff1a;Rui Li 2. 发表年份&#xff1a;2023 3. 发表期刊&#xff1a;CVPR 4. 关键词&#xff1a;光流、深度学习、PatchMatch、局部搜索 5. 探索动机&#xff1a;对于深度学习来说&#xff0c;除了准确性之外&#xff0c;性能和内存也是一个…

基于深度学习的CCPD车牌检测系统(PyTorch+Pyside6+YOLOv5模型)

摘要&#xff1a;基于CCPD数据集的高精度车牌检测系统可用于日常生活中检测与定位车牌目标&#xff0c;利用深度学习算法可实现图片、视频、摄像头等方式的车牌目标检测识别&#xff0c;另外支持结果可视化与图片或视频检测结果的导出。本系统采用YOLOv5目标检测模型训练数据集…

回归预测 | MATLAB实现GRNN广义回归神经网络多输入单输出回归预测(多指标,多图)

回归预测 | MATLAB实现GRNN广义回归神经网络多输入单输出回归预测(多指标,多图) 目录 回归预测 | MATLAB实现GRNN广义回归神经网络多输入单输出回归预测(多指标,多图)效果一览基本介绍程序设计参考资料效果一览 基本介绍 MATLAB实现GRNN广义回归神经网络多输入单输出回归…

GitLab备份升级

数据备份(默认的备份目录在/var/opt/gitlab/backups/下&#xff0c;生成一个以时间节点命名的tar包。) gitlab-rake gitlab:backup:create新建repo源&#xff0c;升级新版本的gitlab vim /etc/yum.repos.d/gitlab-ce.repo [gitlab-ce] namegitlab-ce baseurlhttps://mirrors.…

解决el-table打印时数据重复显示

1.表格数据比较多加了横向滚动和竖向滚动&#xff0c;导致打印出问题 主要原因是fixed导致&#xff0c;但是又必须得滚动和打印 方法如下&#xff1a; 1. 2. is_fixed: true,//data中定义初始值 3.打印时设置为false,记得要改回true if (key 2) { this.is_fixed false //打…

虹科活动 | 走进宇通客车-汽车新供应链技术展精彩回顾

引言 7月27日&#xff0c;走进宇通客车-汽车新供应链技术展于宇通研发中心成功举办&#xff0c;本次展会中虹科为大家带来了一体化车载天线与车辆GNSS仿真测试方案&#xff0c;感谢您前来探讨与交流&#xff01; 精彩产品一览 车辆GNSS仿真测试方案 虹科高性能GNSS模拟器具有灵…

Eureka 学习笔记3:EurekaHttpClient

版本 awsVersion ‘1.11.277’ EurekaTransport 用于客户端和服务端之间进行通信&#xff0c;封装了以下接口的实现&#xff1a; ClosableResolver 接口实现TransportClientFactory 接口实现EurekaHttpClient 接口实现及其对应的 EurekaHttpClientFactory 接口实现 private …

Golang之路---01 Golang VS Code创建项目

Golang VS Code创建项目 代码组织 Golang使用包和模块来组织代码&#xff0c;包对应到文件系统就是文件夹&#xff0c;模块就是xxx.go的go源文件。一个包中会有多个模块&#xff0c;或者多个子包。 早期使用的是gopath来管理项目&#xff0c;不方便&#xff0c;比较麻烦&…

电子技术的发展

本资料仅用于学习和讨论如有侵权请反馈 1.1 第一台只能存储640M 什么是模拟信号: 2.1 把声波转化为电信号 2.2 微音器输出的某一段信号的波形 3、最简单有个蜂鸣器,再好一点有个喇叭 4、人说话的声音是个很复杂的声音 5、嵌入式实时操作系统: 6、结构到函数 6.1 学习环境…