云计算如何创芯:“逆向工作法”的性感之处

在整个云计算领域,能让芯片规模化的用起来,是决定造芯是否成功的天花板。在拉斯维加斯的亚马逊云科技2023 re:Invent则是完美诠释了这一论调。
亚马逊云科技2023 re:Invent开幕前两个小时,有一场小型的欢迎晚宴,《星期日泰晤士报》南非站记者Arthur Goldstuck谈到:“我们可能会目睹最重要的一场re:Invent,这次亚马逊云科技的技术发布,在未来五年都会是极具意义的。

参与者们好奇,在生成式AI几乎席卷一切的背景下,一个处于领导者地位的云厂商,将会向外界讲出怎样的人工智能故事?

如果站在未来看当下,生成式AI可能是一场大型马拉松,但亚马逊云科技现在就已经在勾勒出它的地图。在亚马逊云科技CEO Adam Selipsky长达两个半小时的演讲中,一张“生成式AI技术堆栈图”图贯穿了整场。

亚马逊云科技“生成式AI技术堆栈图”(Generative AI Stack)

从上图可见,亚马逊云科技搭建了三层AI堆栈:最底层是用于训练和推理的「基础设施层」,这里包括一些亚马逊云科技的自研芯片;中间层是微调大模型或基础模型需求的「工具层」;最上层是「生成式AI应用层」,这里包括此次新推出的生成式AI助理Amazon Q。

概括而言,亚马逊云科技正在构建一种范式,去尽可能匹配这个时代下的更多客户的更多需求,正如Adam Selipsky所说——“我们在用一种跟传统完全不同的方式探讨生成式AI概念”。

不过,正所谓见微知著,我们决定将「芯片」,作为观察今年亚马逊云科技re:Invent新发布的切入点。

摄于2023 re:Invent一角

01

十年自研,逆向造芯

很多人了解亚马逊云科技,知道它是全球领先云厂商,构建底层软件的能力非同一般。但大家可能不那么了解的是,亚马逊云科技还是一个在芯片及硬件层有深厚技术底蕴的公司。

早在十年前的2013年起,亚马逊云科技就开始自研芯片,至今已形成了一个芯片全家桶,包括四个系列:

  • 构成云服务技术底层核心的虚拟化芯片Amazon Nitro
  • 通用处理器芯片Amazon Graviton
  • 用于机器学习的“训练”芯片Amazon Trainium和用于机器学习的“推理”芯片Amazon Inferentia

而且实际上,近年来亚马逊云科技一直在年中举办“亚马逊云科技硅芯片创新日”,与产业交流相关创新。就在今年6月的2023年芯片创新日,Amazon EC2副总裁Dave Brown回忆起2012年,当时亚马逊云科技是如何进入芯片设计的故事。一晃,已是十年。

他描述了一群领导者,包括 Peter DeSantis 和 James Hamilton,如何设想“增加一个硬件设备来增强亚马逊云科技的安全性和性能”——这个简单的想法,开启了一个全新的时代,带来了多种定制的芯片产品。

而在此次re:Invent,就有两款亚马逊云科技自研芯片有了重大升级,分别是:

  • Amazon Graviton4
  • Amazon Trainium2

Amazon Graviton4 和Amazon Trainium (原型) (Business Wire提供)

Amazon Graviton系列芯片,无疑是芯片发展史上浓墨重彩的发明。提起ARM架构的云端芯片,大家似乎不陌生。但如果把时钟拨回到6年前,虽然当时业界已经通过iPhone,认可了ARM架构是移动端CPU的好选择。但是,开发并规模化商用ARM架构的服务器CPU,还是前无古人的创举。

而亚马逊云科技就是那个开创者,Amazon Graviton第一代诞生于2018年,“现在接近10%的服务器总销售额是ARM,其中很大一部分来自亚马逊云科技。在CPU方面,这家公司做得很好。”Bernstein Research高级分析师Stacy Rasgon在一次接受采访中如是说。

本次大会,Amazon Graviton已经更新到第四代,但依然没有放慢高速增长的步伐。据悉,与前一代相比,Amazon Graviton4性能提升30%,独立核心增加50%,对于高并发等应用所需要的内存带宽,更提升75%,并且,还进一步通过高速物理硬件接口的完全加密提升了安全性。

熟悉造芯的朋友们都知道,设计和成功流片一颗新架构的芯片只是造芯的基本功,而能让芯片规模化的用起来,才是决定造芯是否成功的天花板。

在管理理念上,亚马逊内部有一招很特别的法门,叫做“working backwards逆向工作法”。亚马逊云科技的成功造芯,或许正与此有关。

关于“逆向工作法”,曾经贝索斯在2008年致亚马逊公司股东的信中所做解释大意如下:如果我们能很好了解顾客需求,并深信这种需求是有长期价值。那么,我们的一贯做法是——耐心探索,直至找到解决方案……从顾客需求出发的“逆向工作法”(Working backwards)与“技能导向法”(skills-forward)形成鲜明对比。

简单来说,逆向工作法,就是先研究需求,再根据需求创造相应工具;而技能导向法,则是手里拿着一个锤子,看什么都像钉子。

亚马逊云科技的造芯过程,某种程度就遵循了逆向工作法。以亚马逊云科技最早的硬件系统Amazon Nitro为例。它的出现,就是为了解决Xen架构的虚拟化系统的资源消耗问题——服务器中大概只有七成的资源能够提供给用户。而Amazon Nitro针对虚拟化损耗,提出定制化硬件的思路,最终提供了裸机的性能。

而在与用户应用关系度更紧密的CPU层面,亚马逊云科技提供了针对不同负载优化的计算实例类型,来推动芯片的落地应用,从计算密集型、内存密集型,再到存储、IO敏感、吞吐敏感、网络延迟敏感等,一应俱全。

针对最新的Amazon Graviton4,亚马逊云科技就提供了Amazon EC2 R8g内存优化性实例,可以提升客户运行高性能数据库、内存缓存、大数据分析等工作负载的效率。R8g实例相比当前一代R7g实例提供更大的实例大小,虚拟处理器(vCPU)以及内存均提升了3倍。这让用户可以处理更大量的数据、更大规模的工作负载、更快的获得运行结果,并降低总拥有成本。基于Amazon Graviton4的R8g实例现已提供预览版,并将在未来几个月推出正式可用版。

对于Amazon Graviton的设计方式,同样是从逆向工作法开始的,Amazon Graviton自发布以来,它的设计出发点就是用户的实际工作负载,而不是测试软件的benchmark。通过一个“六边形性能分析”可以看到,Amazon Graviton4相比上一代是如何在数据应用中提升性能。这些性能的提升不仅仅存在于re:Invent上,更在客户每次用实际工作负载来测试Amazon Graviton芯片中。

Amazon Graviton4的六边形性能分析,以及在Amazon Graviton3和Amazon Graviton4上运行的MySQL示例

据统计,目前由Amazon Graviton支持的Amazon EC2实例种类达150多个,已经构建的Amazon Graviton处理器数量超过200万个,并拥有超过5万客户,包括Datadog、DirecTV、Discovery、Formula 1 (F1)、NextRoll、Nielsen、Pinterest、SAP、Snowflake、Sprinklr、Stripe以及Zendesk等。例如SAP,在使用Amazon Graviton服务之后,成本降低了35%,且分析速度更快,同时减少了45%的碳排放量。

不过我猜,Arthur Goldstuck和很多人在内,在re:Invent期间更关注的一颗芯,会是Amazon Trainium系列,因为这是面向模型“训练”的芯片,而这部分,算力的瓶颈问题众人皆知。

此次大会发布的Amazon Trainium2,是一款专为基础模型和大模型而生的产品,为拥有数千亿甚至数万亿个参数的基础模型训练做了优化,相比第一代Amazon Trainium(发布于2020年12月),性能提升4倍,内存提升3倍,能效(每瓦性能)提升2倍,几乎全线超过摩尔定律所定义的范畴。

同样,亚马逊云科技也有相同的实例推动新系列的落地。Amazon EC2 Trn2实例就采用了Amazon Trainium2,一个单独实例中包含16个Amazon Trainium芯片,Trn2实例可帮助在下一代EC2 UltraCluster中扩展到10万个Amazon Trainium2,通过搭配Amazon Elastic Fabric Adapter (EFA) 网络互连,提供65 ExaFlops超算级性能。基于此,客户只用几周就能训练出有3000亿个参数的大模型,这约是OpenAI的大模型GPT-3大小的1.75倍。

在这场发布的间隙,在采访中被问道“造芯对于客户带去什么价值”时,亚马逊云科技全球汽车及制造行业专业服务团队负责人Jon Allen表示:

“客户想要更快的、更便宜的东西,这是基本原则。”无疑,这也是非常“逆向工作法”的一个回答。他以汽车业务举例,“真正训练一辆自动驾驶汽车,起码得开车跑900万英里,如果用传统方式做数据训练,很多OEMs客户可能根本负担不起”。

02

生成式AI大时代,有自研,但不影响联盟

虽然亚马逊云科技一直持续自研芯片,但是封闭并非这家公司的基因。而在生成式AI时代起决定性作用的另外一家巨头,英伟达创始人兼CEO黄仁勋穿着标志性皮衣,甚至作为此次re:Invent的首位上场的合作伙伴,与Adam Selipsky进行了一场对话,在对话中黄仁勋提到

“生成式AI正改变各种云端负载,为多元内容创作在底层注入加速计算动能。我们的共同目标是,为每个客户提供具有成本效益的先进生成式AI,为此英伟达与亚马逊云科技在整个计算堆栈展开合作,横跨AI基础设施、加速库(acceleration libraries)、基础模型、以及生成式AI服务。”

在真正的创新者面前,重要的不是是否有竞争,而是双方是否有能满足客户需求的能力,显然,亚马逊云科技和英伟达都在对方身上看到了这一点。

“GPU和GPU之间用NV link连接方式让我们的GPU可以直接存取CPU的记忆体,CPU可以直接使用GPU的记忆体,这是非常快地进行的。在更大的网络中,通过Grace Harper链接在一起。Amazon Nitro可以将GH变成一颗巨大的虚拟化的GPU。这么多的实例,我们可以跟亚马逊云科技EFA兼容起来用,这也是非常快速的速度来运用的,所有单元都可以变成超级的集群。”黄仁勋说道。

约13年前,亚马逊云科技是第一家把英伟达GPU芯片带到云上的云厂商,而接下来,双方还将扩大合作,主要包括四个方面

  • 亚马逊云科技成为第一家在云端配备英伟达GH200 Grace Hopper超级芯片的云厂商。英伟达GH200 NVL32多节点平台为运用英伟达NVLink与NVSwitch技术连接32个Grace Hopper Superchips组成的实例。此平台将在Amazon Elastic Compute Cloud(Amazon EC2)实例上可用,与亚马逊云科技的网络相连,由虚拟化(Amazon Nitro System)及超大规模集群(Amazon EC2 UltraClusters)提供支持,让共同客户能扩展至数千个GH200超级芯片。
  • 在亚马逊云科技平台上将推出英伟达DGX Cloud NVIDIA AI“训练即服务(AI-training-as-a-service)”。此服务将是首个配置GH200 NVL32的DGX Cloud,为开发者提供单一实例中最多的共享内存。在亚马逊云科技上运行的DGX Cloud将加速训练含有超过1兆参数的尖端生成式AI与大型语言模型。
  • 英伟达与亚马逊云科技合作推动Project Ceiba,构建全球最快的GPU驱动的AI超级计算机,这是一个配备GH200 NVL32与Amazon EFA互连技术的大规模系统,该系统部署在亚马逊云科技上,为英伟达研发团队提供服务。该超级计算机将前所未有地配置16384颗英伟达H200超级芯片,能处理65 exaflops(衡量超级计算机性能的单位,每秒浮点运算可达一百亿亿次)速度等级的AI运算,英伟达使用该超级计算机推动其全新生成式AI的创新。
  • 亚马逊云科技将推出三款Amazon EC2实例:P5e实例配置英伟达H200 Tensor Core GPUs,针对大规模与尖端生成式AI及HPC高性能运算工作负载;分别配置英伟达L4 GPUs与英伟达L40S GPUs的G6与G6e实例,可运行包括AI微调、推理、绘图以及影片工作负载等广泛应用。G6e实例特别适用于开发3D工作流程、数字孪生、以及其他使用英伟达Omniverse的应用,用来连接与构建各种生成式AI的3D应用。

提到大模型,总有人认为这是巨头的游戏。但是Jon Allen不这么看,“对中小企业和创业公司来说,我们的AI芯片带给他们与宝马等汽车巨头相同的计算能力。十年前的硅谷,只有十几人的小公司根本无法负担高昂的算力(与大玩家竞争)。现在不一样了,AI芯片确实创造了新机会。“

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/188922.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

BUUCTF [GXYCTF2019]SXMgdGhpcyBiYXNlPw== 1

BUUCTF:https://buuoj.cn/challenges 题目描述: 得到的 flag 请包上 flag{} 提交。 密文: 下载附件,解压得到flag.txt文件。 解题思路: 1、打开flag.txt文件,内容如下。 Q2V0dGUgbnVpdCwK SW50ZW5hYmxlIGluc29tbm…

【如何用批处理文件实现自动编译Keil工程和C# Visual Studio工程】

如何用批处理文件实现自动编译Keil工程和C# Visual Studio工程 写个Bat 批处理文件,现自动编译Keil工程和C# Visual Studio工程。这样可以结合Python 实现复杂的操作。 编译Keil工程: echo off set UVC:\Keil_v5\UV4\UV4.exe set UV_PRO_PATHD:\worksp…

React有哪些优化性能的手段?

使用合成事件:React的合成事件系统能够提高性能,因为它使用事件委托,将事件监听器挂载在顶层容器上,而不是每个DOM元素上。减少了事件监听器的数量,从而减小了内存和性能开销。 使用组件级别的shouldComponentUpdate或…

Python编程题集(第三部容器操作 )

Demo61 指定等级 题目描述 读入学生成绩,获取最高分best,然后根据下面的规则赋等级值: (1)如果分数≥best-10,等级为A (1)如果分数≥best-20,等级为B (1…

常见基础指令【Linux】

目录 一、Linux基本指令1. ls2. pwd3. cd4. touch5. mkdir6. rm和rmdir7. man8. cp9. mv10. cat11. tac12. more13. less14. head15. tail16. date17. cal18. find19. grep20. zip/unzip21. echo22. wc23. tree24. which25. alias26. whoami27. stat28. tar29. uname30. shutdo…

React实现登录授权功能

一、概述 本文将通过React Router & React Redux & Umi.js useModel 实现登录和授权路由功能。 二、技术实现 auth-action-reducer (redux配置) export const Login (username, password) > ({type: login,username: username,password: password }; export con…

vue3+element-plus之el-date-picker日期选择器清空无回调的解决方案

MENU 前言解决htmlJavaScrip 前言 在一个任务列表的搜索栏,添加一个日期区间搜索。使用到element-plus中的日期选择器el-date-picker;el-date-picker本身方法中有change事件,但是清空按钮没有对应回调方法。在任务列表的搜索需求中&#xff0…

如何自定义winform控件,并把它添加到工具箱,供拖动使用

首先,在想要用自定义控件的解决方案中新建一个项目,该项目用来存放所有的自定义控件。 解决方案-右键-添加-新建项目 添加新项目的界面选择Windows窗体控件库,点击确定。 此时,已经添加好了新的项目,默认会有一个自定…

记RocketMQ本地开发环境搭建始末

前言 最近工作中涉及到了RocketMQ的应用,为方便开发决定本地搭建一套RocketMQ的使用环境。 果然实践是个好东西... VMware虚拟环境搭建 这个网上有很多教程,只会比我写的详细有条理,这里就不在赘述了。 虚拟机搭建好之后每次重启电脑都无…

js命名规则

变量和函数命名使用驼峰命名法(camelCase),即首字母小写,后续单词首字母大写,例如:myVariable、myFunction。类名使用帕斯卡命名法(PascalCase),即每个单词的首字母都大写…

nginx配置反向代理及负载均衡

目录 1.前端发送的请求,是如何请求到后端服务的1.nginx 反向代理的好处:2.nginx 反向代理的配置方式:3. nginx 负载均衡的配置方式 1.前端发送的请求,是如何请求到后端服务的 1.nginx 反向代理的好处: 提高访问速度 因…

分析一段文字中重复词组,英文版

String text " aaaaabbbacccdaaaabbbbccccaaa"; Pattern patten Pattern.compile("[a-zA-Z]"); // 用Pattern类中的matcher()方法,生成一个匹配器对象,Matcher类是匹配器类 String sbstring text.toString(); Matcher matcher patten.ma…

全系降3万,一把干到底,极越「智取」特斯拉

作者|德新 编辑|王博 11月30日,极越01官宣全系降价3万。 这意味着21.99万起步的极越01 Max,成为这个市场上入门门槛最低的带有城市智能驾驶辅助功能的车型。 要知道这是一台比Model Y大了一圈,全系配置了高阶智驾硬件,全系配高…

Apache HTTPD 2.448 mod_proxy SSRF漏洞(CVE-2021-40438)

任务一: 复现漏洞 任务二: 尝试利用SSRF漏洞,访问重庆邮电大学官网(http://www.cqupt.edu.cn) 1.搭建环境 2.了解这个地方是httpd作为了一个反向代理服务器,也就是先是客户端发送请求给代理服务器,然后…

Neo4j 程序开发 JavaAPI 嵌入式开发模式(头歌)

文章目录 第1关:JavaAPI 嵌入式开发模式任务描述相关知识创建 Neo4j 数据库启动 Neo4j 数据事务创建节点创建节点关系将创建的数据库设置为默认数据库 编程要求测试说明答案代码修改配置文件,更改默认 Neo4j 数据库代码文件 第1关:JavaAPI 嵌…

【文献阅读笔记】关于GANomaly的异常检测方法

文章目录 1、GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training模型主要创新 2、Skip-GANomaly: Skip Connected and AdversariallyTrained Encoder-Decoder Anomaly Detection模型主要创新点 3、Industrial surface defect detection and localization u…

YOLOv8改进 | 2023 | AKConv轻量级架构下的高效检测(可变核卷积)

一、本文介绍 本文给大家带来的改进内容是AKConv(可变核卷积)是一种创新的卷积神经网络操作,它旨在解决标准卷积操作中的固有缺陷(采样形状是固定的),AKConv的核心思想在于它为卷积核提供了任意数量的参数…

RTDETR阅读笔记

RTDETR阅读笔记 摘要 DETR的高计算成本限制了它们的实际应用,并阻碍了它们充分利用无需后处理(例如非最大抑制NMS)的优势。文中首先分析了NMS对实施目标检测的精度和速度的负面影响。(RTDETR是第一个实时端到端的目标检测器。具…

Word 小知识之 docx 和 doc 的区别

下面我们从4个方面为大家总结了有关于docx和doc的区别,一起来看一看: 1. 文件格式 doc和docx的区别中较大的区别就是文件格式不同,一个是二进制一个为XML格式。doc:是早期的Word文档格式,采用二进制文件格式。这种…

ipa应用测试平台怎么开开具发票

控制台-个人中心-发票管理 ●点击申请发票可以开具发票 ●申请发票-填写资料-勾选订单 ●个人发票开具以及公司发票开具 ●提交发票申请 ●等待申请成功开具发票 ●发票开具成功,我们可以开具或者查看发票