将绿色计算进行到底,蚂蚁集团四大硬核黑科技全公开

作者 |  伍杏玲

出品 | CSDN

在红包和优惠券齐飞的热闹气氛下,第14个“双11”正式结束。可能大家意料不到的是,你在买单时,绿色计算为降低碳排放“买单”,打造绿色低碳的双 11。

看到这,你可能有疑问,自己在手机/网站浏览商品、下单结账,这么简单的操作,如何和绿色计算、节能减碳挂钩?

01 算力激增,绿色计算势在必行

当我们在手机浏览、选择点击时,背后海量数据正被飞快计算,消耗能源,从而产生碳排放。据工信部最新数据显示,截至 2022 年 6 月底,我国在用服务器规模近 2000 万台,位居全球第二,近五年平均增速超过 30%。算力已经成为继热力、电力之后新的关键生产力。

绿色计算是帮助海量数据在计算过程中提高效率、减少浪费、减少碳排。业界普遍认为绿色计算涵盖以下三个方面:一是采用高效节能的计算设备和配套设施,二是保证可靠性的前提下提高计算资源分配效率;三是保障低成本低能耗的新型系统与应用。

在双 11 这场“商业奥运会”中,数据流量达到巨大的峰值,如何调配资源满足计算需求,并达到高效、减排的目标,成为科技企业需考虑的难题。在“双碳”目标下,绿色低碳已成为各家企业的必答题。

蚂蚁集团持续关注绿色计算的发展,并上升为战略级计划。在 2022 年双11期间,经中环联合认证中心(CEC)测算,蚂蚁集团通过“绿色计算”技术节省 153.8 万度电,可供一盏普通节能灯使用 1 亿 5 千万个小时;减排 947 吨二氧化碳当量,约等于 79000 棵树的年碳吸存量。这是蚂蚁集团第二年大规模应用“绿色计算”技术提高双11期间算力资源利用效率,节能减排效果较去年同期增长 140%。

这背后是哪些黑科技加持助力的?蚂蚁集团绿色计算负责人、基础设施委员会主席何征宇为我们详细解剖。

02 四大绿色技术,建立开放共享绿色体系

“用更绿色的技术,为世界带来微小而美好的改变。”是的,蚂蚁集团正在践行。

何征宇表示,为了实现数字经济的高质量发展目标,科技业界需要利用数字化技术去提高发展的效率,同时不让算力造成新的问题。 “绿色计算”就是蚂蚁集团对此作出的技术探索。从 2019年启动以来,去年蚂蚁已在日常业务中全面应用“绿色计算”,服务器利用率提高近 3 倍。当前,蚂蚁正在搭建计算、存储和算法一体化的全生命周期“绿色计算”技术体系,通过聚焦基础软件技术突破,持续提高算力的利用效率。

目前业界正在探索绿色计算具体实践有硬件、软件两个方向。在硬件物理层面,降低数据中心 PUE,在算力层面,通过软件技术,合理分配计算资源。

如在阿里云五大超级数据中心里,通过自研单相浸没液冷技术,PUE 低至1.09,大幅降低数据中心散热能耗。双11期间,张北基地和南通基地清洁能源使用合计超 6000 万千瓦时,相比去年双11同时段增加一倍以上,其中绿电使用日均同比增加 30%。

而蚂蚁集团对绿色计算的探索主要在软件技术侧发力,通过在离线混合部署、AI弹性容量、云原生分时调度、绿色 AI 四大技术打造绿色计算体系:

云原生分时调度技术:跟潮汐车道调度类似,错峰编排在线和离线业务,把一份资源灵活分配给不同的任务。如早上7点大家在蚂蚁森林抢能量,临时需要非常多资源机器调度,但过了7点就不需要了,然后等到中午休息时又需要很多算力。云原生分时调度进行潮汐调度,今年落地规模较去年同期扩大10倍,有效提升了减排效果。

AI弹性容量:互联网的需求不固定,常有突发性高峰。通过 AI,结合图计算、深度学习算法,用 AI 技术做到秒级感知和扩缩容,像天气预报一样来预测容量大小,减少企业的机器数量。

在离线混合部署:在能源、金融等关键行业,对安全性、隔离性、稳定性要求高,企业将在线和离线应用拆开。蚂蚁集团应用自研 Kata 安全容器技术,做到在线业务和离线业务互不干扰。

今年蚂蚁集团进一步攻克业界难点,向数据库混部,这需要保证在业务高峰来临时,快速释放离线计算资源,同时保障业务访问稳定。蚂蚁集团对数据库推进容器化,让存储和应用的计算资源统一调度,同时结合数据库容量、调度、容器化隔离技术,做到在混部场景下安全稳定运行,混部CPU利用率70%的情况下,数据库容量降低在10%以内,有效降低了服务器浪费。

绿色 AI:绿色AI 是蚂蚁集团今年新增的技术方案。主要针对科技企业使用人工智能时普遍存在的算力浪费问题,建立了AI和大数据引擎通用的计算调度和管理系统 Cougar,并搭建绿色算法框架,对人工智能的全生命周期进行绿色优化。当前Cougar 在覆盖总计超过 80 万 CPU core规模的计算任务,带来 20%+ 算力提升。

在算法层面,建立蚂蚁 Green ML 1.0 的技术框架,涵盖绿色衡量、绿色数据、绿色训练、绿色推理与绿色应用等方向,聚焦人工智能、机器学习算法应用链路的绿色优化,重点通过在算法生命周期各阶段的优化措施来提升整体算力效能,达到节能减排的效果的同时,提升业务效果。当前在支付宝首页服务推荐场景落地后实现整体算力效能提升 150%,实际节约机器资源数约 2.4w core,每天节约电能消耗 5062 度,减少3.1吨碳排放。

同时定义一套业界全相信绿色衡量指标(PFEC),通过对 AI 算法全生命周期进行效果(P)、算力(F)、能耗(E)、碳排(C)的四维度衡量,全面定量每一个模型和每一次迭代的绿色程度。

此外,开发者熟悉的分布式数据库OceanBase 也是蚂蚁“绿色计算”技术的组成部分。通过研发支撑混合负载(HTAP)的高性能分布式计算引擎,改进LSM树降低数据存储成本,OceanBase有效降低了服务器浪费。

由以上硬核黑科技我们发现,蚂蚁集团的绿色计算发展之路,是聚焦基础软件技术突破,以建立开放共享的绿色体系。

03 携手共建绿色计算生态

当前,绿色计算生态处于初期探索阶段,单靠一两家企业是不足以生态建设,不少科技企业和机构正积极参与完善绿色技术生态。

今年,阿里、腾讯、蚂蚁、百度、京东等10家企业宣布共同组成碳中和专业委员会及开放技术联盟,首轮免费共享189项减碳相关专利技术。蚂蚁集团联合CCF(中国计算机学会)在9月发布了国内业界首支“绿色计算”主题科研基金,并在近期联合绿色计算产业联盟举办首届“绿色计算”大赛。今年4月,蚂蚁集团加入“低碳绿色承诺”,承诺将 7 件“绿色计算”相关专利无偿开放,参与编制并与绿色计算产业联盟联合发布《绿色计算产业发展白皮书》。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/510757.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

EasyNLP 带你玩转 CLIP 图文检索

导读 随着自媒体的不断发展,多种模态数据例如图像、文本、语音、视频等不断增长,创造了互联网上丰富多彩的世界。为了准确建模用户的多模态内容,跨模态检索是跨模态理解的重要任务,采用一种模态的数据作为数据,检索另…

美国国家安全局督促弃用 C/C++,使用更安全的 Rust、C# 等!

作者 | 苏宓出品 | CSDN(ID:CSDNnews)如果说此前 Kotlin、Dart、Julia、Carbon 等后起之秀向老牌编程语言发起挑战进攻都是小打小闹,那么这一次 C、C 这几种常青藤编程语言则是真实地陷入了尴尬的境地。近日,美国国家安…

DataFunTalk:阿里建设一站式实时数仓的经验分享

导读:大数据计算正从规模化走向实时化,实时大数据建设过程中开始面临很多的痛点和问题。本文内容整理于阿里资深技术专家姜伟华在DataFunTalk上的演讲,为大家介绍阿里巴巴基于一站式实时数仓Hologres建设实时数仓的经验和解决方案。 分享的内…

什么是真正的敏捷开发?敏捷开发与瀑布开发有何不同

什么是真正的敏捷开发?敏捷开发与瀑布开发有何不同。从本质上讲敏捷开发的一个重要目标是建立持续价值交付的能力。这种能力最终必须服务于业务的创新,促进业务的成功。 敏捷开发的目标——更早的交付 我们经常会说敏捷模式,那什么开发模式…

服务了 300 万微信开发者的这款产品,又升级了

从云开发到低代码甚至零代码,技术领域在发生快速的变化,腾讯、阿里、华为等云厂商也在持续布局。作为一线技术开发者,“不懂云开发或者低代码,在未来甚至都找不到工作”,绝不是危言耸听。由于背靠微信生态,…

基于 EasyCV 复现 ViTDet:单层特征超越 FPN

欢迎使用我们最近开源的EasyCV,主要聚焦于最新的Vision Transformer模型,以及相关的下游CV任务 开源地址: https://github.com/alibaba/EasyCV ViTDet其实是恺明团队MAE和ViT-based Mask R-CNN两个工作的延续。MAE提出了ViT的无监督训练方法…

数据湖构建—如何构建湖上统一的数据权限

背景信息 阿里云数据湖构建产品(DLF)提供的统一元数据服务,通过完善各种引擎/表格式生态解决了数据湖场景下多引擎面临的数据孤岛和元数据一致性问题,实现了开源大数据引擎及数据湖格式元数据的统一视图,避免了各引擎…

从阿里云容器攻防矩阵API安全生命周期,看如何构建金融安全云原生平台

【编者按】云原生技术正在助力银行通过差异化业务进行创新,却也带来了由于研发/运维人员对新架构不熟悉所导致的基础设施风险、业务风险及数据暴露风险。如何在飞速更迭的技术环境下保持业务持续发展,同时保证业务整体的安全性,满足不断增强的…

StarRocks X Flink CDC,打造端到端实时链路

实时数仓建设背景 实时数仓需求 随着互联网行业的飞速发展,企业业务种类变得越来越多,数据量也变得越来越大。以 Apache Hadoop 生态为核心的数据看板业务一般只能实现离线的业务。在部分领域,数据实时处理的能力已经成为限制企业数据变现的…

使用 Databricks+Mlflow 进行机器学习模型的训练和部署

ML工作流的痛点 机器学习工作流中存在诸多痛点: 首先,很难对机器学习的实验进行追踪。机器学习算法中有大量可配置参数,在做机器学习实验时,很难追踪到哪些参数、哪个版本的代码以及哪个版本的数据会产生特定的结果。其次&#x…

数字工业 弹性安全丨2022 Fortinet工业互联网安全发展峰会成功举办

随着数字化转型的持续推进,工业互联网的作用和地位日益加强。而 OT 安全作为工业互联网体系不可或缺的部分,虽然受到越来越多企业的关注,但仍然面临着多方面的挑战。11月16日,一年一度的 OT 安全盛会——2022 Fortinet工业互联网安…

团队管理|如何提高技术 Leader 的思考技巧?

技术Leader是一个对综合素质要求非常高的岗位,不仅要有解具体技术问题的架构能力,还要具备团队管理的能力,更需要引领方向带领团队/平台穿越迷茫进阶到下一个境界的能力。所以通常来说技术Leader的技能是虚实结合的居多,繁杂的工作…

关于 Data Lake 的概念、架构与应用场景介绍

数据湖(Data Lake)概念介绍 什么是数据湖(Data Lake)? 数据湖的起源,应该追溯到2010年10月,由 Pentaho 的创始人兼 CTO, James Dixon 所提出,他提出的目的就当时历史背景来看,其实…

蚂蚁链牵头两项区块链国际标准在ITU成功立项

近日,国际电信联盟第十六研究组(简称ITU-T SG16)召开全体会议。会上,由蚂蚁链牵头的两项区块链国际标准获得立项通过。包括: ITU-T H.DLT-SCLMR “Smart contract lifecycle management requirements for distributed…

使用 Databricks 进行营销效果归因分析的应用实践

本文介绍如何使用Databricks进行广告效果归因分析,完成一站式的部署机器学习,包括数据ETL、数据校验、模型训练/评测/应用等全流程。 内容要点: 在当下的信息化时代,用户每天都会收到媒体投放的广告信息,如何做到精准…

5年磨一剑|优酷Android包瘦身治理思路全解

稳定性、性能、包大小,在移动端基础用户体验领域“三分天下”,是app承载业务获得稳定、高效、低成本、快速增长的重要基石。其中,包大小对下载转化率、拉新拉活成本等方面的影响至关重要,这在业界已经成为共识,近年来头…

2022年“移动云杯”算力网络应用创新大赛圆满落幕,百万大奖揭晓!

11 月 17-18 日,2022 年移动云开发者技术论坛暨“移动云杯”算力网络应用创新大赛总决赛在苏州举行。活动现场公布了 2022 年“移动云杯”算力网络应用创新大赛总决赛获奖名单。同时重磅发布了移动云 openAPI 2.0、首届移动云量子计算大赛。 三大赛道齐发力&#xf…

代码注释的艺术,优秀代码真的不需要注释吗?

前言 前天回家路上,有辆车强行插到前面的空位,司机大哥吐槽“加塞最可恶了”,我问“还有更可恶的吗”,司机大哥淡定说道“不让自己加塞的”。似乎和我们很类似,我们程序员届也有这2件相辅相成的事:最讨厌别…

DataProcess-VOC数据图像和标签一起进行Resize

VOC数据图像和标签一起进行Resize 参加检测比赛的时候,很多时候工业原始数据尺度都比较大,如果对数据不提前进行处理,会导致数据在加载进内存时花费大量的时间,所以在执行训练程序之前需要将图像提前进行预处理。对于目标检测的数…

元宇宙持续升温,金蝶推出数字员工破圈而来

作者 | 伍杏玲 “金小蝶,请分析今年企业销售事业部的业绩”。 话音刚落,大屏幕展开一张张账务报表,一位身着西装,举止大方得体的数字人条理清晰地回复:“截至今年10月,企业销售事业部在签单金额、新签收入…