为什么生命科学企业都在陆续上云?

生命科学行业正迎来发展的黄金时期。医学的发展和人们对健康的追求,正快速转换为生命科学整个产业链发展的新动能,高性能计算HPC在生命科学研究中扮演着十分重要的角色。同时,随着生命科学行业的快速发展,我们可以看到,行业的上云已经成为了势不可挡的趋势。

得益于云的弹性与便捷,一个行业对云计算的急切需求往往与其快速发展分不开,传统IT的备货、交付、部署的长流程决定了它无法满足快速生长的行业猛增的IT需求。

本文将从生命科学行业现状机器对算力的巨大需求开始,展示该行业目前在基础设施层面面临何种需求与痛点,解答为什么云上高性能计算将大大有助于生命科学企业的快速发展。

一、生命科学对算力的需求:规模大、高性能、类型丰富

目前,生命科学行业最主要的两个场景,分别是计算机辅助药物设计和基因测序。

1、计算机辅助药物研发

21世纪以来,由于疾病复杂程度的不断提升,可成药靶点逐渐减少,新药研发的难度和成本明显增加,同时全球新药研发成功率呈明显下降趋势。创新药物研发是药企构建核心竞争力和持续发展的关键,而药物研发是一项高投入、高技术、高风险、长周期的系统工程。药企开始寻求AI、大数据等计算机技术辅助药物研发。

药物研发全流程

新药的诞生通常需要经历药物发现、临床前研究、临床试验和审批等阶段后,最终才可以获批上市。在靶点发现、化合物合成等药物发现阶段,以及化合物筛选等临床前研究阶段,往往需要借助高性能计算强大的计算能力才能加速研发过程辅助药物设计。

在靶点发现环节进行蛋白质结构预测时,既有基于分子动力学和平面波等进行预测的方案,也有基于AI for Science的解决方案。

前者是高性能计算HPC典型的应用场景,有VASP、Gromacs等成熟软件的解决方案,通过计算得到模拟结果。该方案中,模拟问题规模与计算资源数量成正比。

与此同时,业界也逐渐涌现出AlphaFold2等解决方案,通过利用AI技术建立蛋白质序列和结构的关系,不断学习已知序列和结构进而对蛋白质结构进行预测。在强大的算法与算力的支持下,DeepMind将运算时间从数月缩短至数小时。随着网络模型参数规模的增加,对算力的要求也越来越高。

蛋白质三维结构AI预测

同样地,在虚拟化合物筛选时,药企通常需要对数百万级别的分子和蛋白结构做对接。每个配体分子都需要计算资源来获取对接分数,从而筛选出可用于实验验证活性的分子,面对海量的配体分子库,是需要庞大算力支撑分子和蛋白结构的对接工作。显然,单机的算力是很难胜任这样大规模的虚拟筛选任务,因此使用高性能计算HPC集群进行大规模虚拟筛选任务就至关重要。

先导化合物发现流程

在靶点发现、化合物筛选和化合物合成等流程中,不同的计算模式、参数和软件,对计算资源的要求往往也是不同的。尤其随着AI的引入,对多资源的多样性配置提出更高的要求。

2、基因测序

基因测序的业务流程主要包括样本上机(测序仪)、测序文件生成、基因序列比对及结果分析(计算机),并将结果数据及报告交付至各科研医疗机构。其中,基因序列比对及分析环节极为耗时,涉及大量的生信领域专业软件,计算资源的算力性能及方案优化对生信研发效率起着至关重要的作用。

基因测序业务流程

对于基因测序典型的WGS(人类全基因组测序)流程,由于涉及文库索引构建、reads比对、排序、去重、BQSR校正以及Caller等环节,方法多样、流程繁复,且不同步骤对应BWA、GATK等不同的软件及参数,不同的生信软件可能又对应不同的并发能力及性能,不同的筛选任务对计算资源的多样性和规模都是不同的,不仅需要弹性的计算资源,还需要具有多样的实例配置。

二代基因测序WGS测序流程

二、生命科学在基础设施层面临的痛点与挑战

原来大部分的生命科学企业都是采取自己在线下自建IDC机房的方式。总体来说,生命科学企业的IT基础设施主要面临资源规模固定建设周期长硬件资源运维成本高三大问题,具体表现如下:

1、资源固定,无法满足业务增长和资源多样性需求

1.1 算力规模固定,影响业务增长速度

企业在建设传统IDC之初,资源规模往往是明确规划的,因此整个集群的任务吞吐量是固定的。对于具有周期性的新药研发及测序业务来说,不同的研发周期和研发任务对资源的需求是不一样的,所以通常就会发生:在高峰期出现任务因等待资源而排队的现象,低谷期又出现资源闲置的问题,这就需要有弹性的计算资源来处理业务。

1.2 资源配置固定,无法满足资源多样性需求

本地IDC机房的计算资源由于是前期规划好的,其资源的配置是限定的,则会导致传统测序方式经常以相同的资源去完成不同测序步骤的执行,无法灵活变配,导致了大量的计算资源浪费。然而如前所述,其所需要的计算资源是灵活多边的。

1.3 存储容量固定,无法满足用户不断增长的存储需求

对于不断增长的存储规模,生信企业面对极大的线下存储设备运维和存储设备采购成本压力,如何能够获得高效、安全、稳定、高性价比及可持续的存储解决方案,也是生命科学企业面临的一大难题。

以蛋白质结构研究为例,一般有X射线晶体学、核磁共振和冷冻电镜三种方法来测定蛋白质结构。以冷冻电镜为例,单个样本的电镜数据一般是10TB级别,企业本地的数据量都是PB级。与此同时,生物信息科研数据包含大量的参考文库数据、样本数据及中间数据文件。其中,单个人类全基因组测序的全流程数据就达1TB大小,由于生信数据的周期性及特殊性,通常的生信企业本地数据的存储量都达到PB级别。

2、建设周期长,影响业务增长

2.1 交付周期长,无法满足用户即开即用的时效需求

传统IDC建设,一般需要经历有立项、招投标、采购和交付等流程,往往需要数月甚至长达一年的建设周期。在立项环节需要对后续业务规模进行评估、明确资源建设方案,这对于发展较快的业务来说,如此长时间的建设周期将成为发展较快的业务的瓶颈。

2.2 硬件资源选型迭代慢,无法满足用户不断升级的资源需求

在传统IDC建设中,企业往往很难快速地获取最新架构的硬件资源,而这些资源往往可以给业务带来可观的加速。

例如,相较于Volta架构,英伟达A100架构的单精训练最高可以提供20倍的加速,这对于借助AI技术来加速的蛋白质结构预测来说,是一个极大的助力。

而对于WGS测序,基于GPU或FPGA的异构加速方案研发也存在着大量的选型及验证过程。在线下IDC建设中,不仅需要考虑CPU/GPU/FPGA等产品的发布时间,选择合适的硬件规格,还需要评估业务架构的发展,这将是生命科学各类企业在建设资源时面临的巨大挑战。

3 运维成本高

线下IDC机房的运维工作也需要较大的人力投入。除了集群计算资源的管理、计算任务的调度、用户权限管理之外,计算资源本身的稳定性,尤其是硬件故障对业务进度将会产生严重影响。如果任务在计算过程中因宕机而终止,在没有checkpoint的情况下只能重新计算。此外,线下存储也需要考虑容灾,避免因硬件故障导致的数据丢失。所以,计算资源的管理、资源稳定性、数据容灾等工作都需要专门的运维团队来负责,无形中又增加了成本。

当前,因为传统IDC提供的基础设施存在资源限制、交付周期长、资源无弹性、硬件资源迭代升级慢、运维成本高等问题,越来越多的生命科学企业转向更具弹性、稳定、高性价比的云上高性能计算解决方案,以加快业务的创新发展。

三、阿里云EHPC生命科学系列解决方案

阿里云相信,云上高性能计算是目前HPC建设使用的最佳途径。针对生命科学行业的相关需求,阿里云依托遍布全球的计算力及领先行业的神龙架构,提供高性能计算公共云解决方案、混合云解决方案、大内存实例性能优化解决方案、容器化解决方案、制药AI解决方案等,可以覆盖解决行业不同场景需求,并拥有以下优势:

(1) 丰富算力,按需购买:阿里云在全球四大洲开服运营27个公共云地域、84个可用区;云上自动伸缩能力支持跨数据中心调度,满足大规模并行作业要求计算资源的类型也可根据调度器队列灵活配置支持多规格异构算力,以及大内存型、高主频等规格CPU实例;

(2) 弹性伸缩,降本增效:阿里云弹性高性能计算E-HPC平台可动态创建/删除计算节点,灵活配置伸缩策略,按实际负载弹性计费,抢占式实例价格最低至1折,降低客户使用成本,提高作业质量及速度;

(3) 极简运维,让企业专注核心业务发展:全面兼容HPC业务,自动搭建集群,提供作业运行性能分析,分别基于集群、实例、进程等维度定位热点,支持作业报表可视化输出,提供用户、任务、队列等维度的消费组成;

(4) 新技术赋能,快速享受红利:IaaS层,阿里云持续迭代最新算力,SaaS和PaaS有着上百家第三方合作伙伴集成阿里云,让生命科学企业快速获取相关技术服务。阿里云丰富的生态及云上持续迭代的技术能力,帮助企业享受到全流程的技术服务与最新技术红利。

阿里云高性能计算目前已经广泛应用于工业仿真(CAD/CAE)、芯片设计(EDA)、生物医药材料、能源勘探与公共服务等多个行业。

深势科技利用弹性供应的成本优化策略,结合抢占式实例的价格,以30%的成本完成海量资源的交付。同时云上弹性高性能计算E-HPC自动运维的特性,降低了深势科技的运维成本,提升了集群管理效率。

生命医学企业圣庭医疗通过上云优化了传统IDC集群的数据可靠性、运维成本及效率问题,基因比对与分析效率提升了70%。阿里云高性能计算团队还通过结合Slurm业务工作流dependency与自动伸缩的结合,减少了无效的计算资源浪费,有效降低了使用成本。

欢迎点击以下链接进入“阿里云生命科学最佳实践”专题页了解更多方案与案例详细内容:
https://developer.aliyun.com/topic/life_science_best_practice

原文链接

本文为阿里云原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/510732.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

VMware Explore 2022 China,赋能中国企业加速实现云智能

全球领先的企业软件创新者VMware(NYSE: VMW)的年度技术盛会—— VMware Explore 2022 China于11月8日正式举行。本届大会以“探索多云宇宙”为主题,汇聚云计算领域的顶尖技术专家和创新者,通过150多场解决方案演讲、围绕云基础架构…

政企混合云技术架构的演进和发展

云计算经历十几年的发展,从被认为是“新瓶装旧洒”受到很多怀疑,到在消费互联网领域得到广泛应用,再到传统政企客户普遍认同,并在政务互联网业务领域快速推广,当下已进入到全面替换政企客户传统IT基础架构的攻坚阶段。…

多云管理产品组合VMware Aria,开启多云管理新篇章

今年8月份,VMware Explore美国大会上宣布了多云管理产品组合VMware Aria,宣布之后,市场上关注度非常高,而且受到了热捧。Aria这个名字动听且贴切,中文意思是 “咏叹调”,也就是说要用统一的、一致的曲调来歌…

DataWorks开发ODPS SQL开发生产环境自动补全ProjectName

一、场景描述 DataWorks标准模式下,支持开发环境和生产环境隔离,开发环境和生产环境的数据库表命名有所区别,如果需要在开发环境访问生产环境的数据库表或者跨项目空间A访问项目空间B的表,需要根据以下命名规范严格区分数据库表名…

送外卖也要“黑科技”?阿里移动感知技术应用揭秘

一 背景 作为本地生活的一个重要组成部分,外卖已经进入千千万万的家庭。相信很多小伙伴已经注意到,饿了么的每一个订单,我们都会及时向用户通知这一单现在所处的状态,比如“商户接单”,“骑手到店”,“骑手…

视频需求超平常数 10 倍,却节省了 60% 的 IT 成本投入是一种什么样的体验?

近年来,Serverless 一直在高速发展,并呈现出越来越大的影响力。主流的云服务商也在不断地丰富云产品体系,提供更好的开发工具,更高效的应用交付流水线,更好的可观测性,更细腻的产品间集成,但一切…

打好“三场仗”,数据库新晋厂商石原子胜券在握

纵观数字经济时代,数据规模呈爆发式增长,国产化替代加速发展。据中国信通院《数据库发展研究报告(2021年)》预测,预计到2025年,全球数据库市场规模将达到798亿美元,其中,中国数据库市场总规模将达到688亿元…

基于信通院 Serverless 工具链模型的实践:Serverless Devs

前言 2022 年 6 月 15 日,信通院在中国信通院云原生产业大会上发布《基于无服务器架构的工具链能力要求》标准,至此全球首个云原生 Serverless 开放工具链模型正式发布!Serverless Devs [1]作为开源开放的开发者工具积极参与工具链模型建设&…

Serverless 架构落地实践及案例解析

互联网软件架构演进 我们先简单回顾下互联网软件架构的演进之路。 单机部署 在单机部署中,将所有的业务和数据库都部署在一台主机中。 此架构的优点是:开发、部署以及运维都非常简单。缺点是:一旦遇到流量过大或者机器故障,整个…

十年 Python 程序员,初次尝试 Rust:“非常优秀!”

摘要:Python 和 Rust,都是近几年深受开发者喜爱的编程语言,那么作为一个拥有十年 Python 编程经验的开发者来说,初次尝试 Rust 会有怎样的感受呢?链接:https://karimjedda.com/carefully-exploring-rust/声…

让阿根廷队“告吹”的三个球背后,2022 年世界杯暗藏哪些技术玄机?

整理 | 苏宓出品 | CSDN(ID:CSDNnews)「足球反着买,别墅靠大海」,昨晚 2022 年卡塔尔世界杯的一场小组赛上,最有看头的阿根廷球队出现惊天冷门,以 1:2 败北沙特阿拉伯队,为此&#x…

科学地花钱:基于端智能的在线红包分配方案

一、前言 本文是作者在1688进行新人红包发放的技术方案总结,基于该技术方案的论文《Spending Money Wisely: Online Electronic Coupon Allocation based on Real-Time User Intent Detection》已经被CIKM2020接收,欢迎交流指正! 关于作者 …

为 Serverless Devs 插上 Terraform 的翅膀,实现企业级多环境部署(上)

前言 随着现代化应用的普及和企业上云的深入,项目中会涉及越来越多的云资源使用。企业上云过程中,往往会有平台(Platform)团队和基础设施(Infra)团队:平台团队关注业务,根据业务场景…

达摩院打破权威榜单纪录,中文语言理解表现首超人类

11月25日消息,在最新的中文语言理解领域权威榜单CLUE中,阿里AI以86.685的总分成绩创造了新纪录,这是该榜单诞生近三年以来,AI首次超越人类成绩(86.678),意味着AI模型的中文语言理解水平达到了新…

阿里云云原生一体化数仓 — 离线实时一体化新能力解读

实时离线一体化概述 在讲实时离线一体化概述前,可以先回顾一下之前两位阿里同学的精彩演讲。 离线实时一体化数仓与湖仓一体--云原生大数据平台的持续演讲 https://developer.aliyun.com/article/804337 云原生离线实时一体化数仓建设与实践: https:/…

50 万开发者不愿付费使用,Python 代码补全神器 Kite 失败!

作者 | 苏宓出品 | CSDN(ID:CSDNnews)AI 编程距离程序员还有多远?如果说 GitHub Copilot 的到来,让众多开发者看到了希望,那么初创公司 Kite 的倒闭,也让我们认清了现实。Kite 是一家使用 AI 帮…

模拟 IDC spark 读写 MaxCompute 实践

一、背景 1、背景信息 现有湖仓一体架构是以 MaxCompute 为中心读写 Hadoop 集群数据,有些线下 IDC 场景,客户不愿意对公网暴露集群内部信息,需要从 Hadoop 集群发起访问云上的数据。本文以 EMR (云上 Hadoop)方式模…

基因检测,如何帮助患者对抗疾病?

为什么别人胡吃海塞都依然瘦成竹竿,我喝水都会胖? 为什么我这么不幸,疾病会找上我?早知道就不乱喝酒。 为什么是同一种病,别人吃这个药有用,我吃却没用? 从日常的健康管理、疾病预防&#xf…

“小语言”才是编程的未来!

摘要:随着软件功能不断增加,代码数量也日益膨胀,我们要如何停止不断堆砌,甚至缩小软件体积?本文作者提出了一种可能性:“小语言”。链接:https://chreke.com/little-languages.html声明&#xf…

夯实密码基础服务,服务上层应用

“十四五”是国家数字化战略转型建设的关键阶段,5G、人工智能、云计算、大数据等新一代信息技术进一步加快了工业和信息化领域数字化转型的步伐。与此同时,也带来了新的网络安全风险。加快推动商用密码与新一代信息技术的深度融合和协同创新,…