亚马逊云科技推出新一代自研芯片

北京——2023 年12月1日 亚马逊云科技在2023 re:Invent全球大会上宣布其自研芯片家族的两个系列推出新一代,包括Amazon Graviton4和Amazon Trainium2,为机器学习(ML)训练和生成式人工智能(AI)应用等广泛的工作负载提供更高性价比和能效。Graviton4和Trainium2是亚马逊云科技自研芯片的最新创新。亚马逊云科技每一代自研芯片都持续提升性价比和能效,为客户提供了基于AMD、Intel以及英伟达等的最新芯片和实例组合之外的更多选择,从而使Amazon Elastic Compute Cloud(Amazon EC2)可以为客户虚拟运行几乎所有应用和工作负载。

Amazon Graviton4 Amazon Trainium 原型 Business Wire提供

亚马逊云科技计算和网络副总裁David Brown表示:“芯片是用户所有工作负载的基础,这也是为什么亚马逊云科技一直将这一领域视为其至关重要的创新领域。通过将芯片设计聚焦于客户真正关心的实际工作负载,我们能够为客户提供最先进的云基础架构。Graviton4是我们在短短五年推出的这一系列的第四代,是我们至今功能最强大和最具能效的芯片,为客户广泛的工作负载提供支持。随着生成式 AI 引起的广泛关注,Tranium2可以帮助客户以更低成本和更佳能效,更快地训练机器学习模型。”

Graviton4为客户广泛的工作负载提供更佳性价比和更高能效

如今,亚马逊云科技在全球规模化提供的基于Graviton的Amazon EC2实例种类达150多个,已经构建的Graviton处理器数量超过200万个,并拥有超过50,000客户。这些客户涵盖了EC2最大的前100个客户,他们使用基于Graviton的实例为其应用提供最佳性价比。Datadog、DirecTV、Discovery、Formula 1 (F1)、NextRoll、Nielsen、Pinterest、SAP、Snowflake、Sprinklr、Stripe以及Zendesk等客户正使用基于Graviton的实例运行广泛的工作负载,包括数据库、数据分析、网络服务器、批处理、广告服务、应用服务器以及微服务等。随着客户把更大的内存数据库和分析工作负载迁移到云上,他们对计算、内存、存储和网络的要求也随之增加。为此,他们需要更高性能和更大实例来运行这些要求严苛的工作负载,同时需要优化成本。针对这些工作负载,客户还希望能使用更加节能的计算资源,减少对环境的影响。目前,很多亚马逊云科技的托管服务都支持使用Graviton,包括Amazon Aurora、Amazon ElastiCache、Amazon Elastic MapReduce(Amazon EMR)、Amazon MemoryDB、Amazon OpenSearch、Amazon Relational Database Service(Amazon RDS)、Amazon Fargate以及Amazon Lambda等,将Graviton的性价比优势带给使用这些服务的用户。

Graviton4处理器相比Graviton3处理器性能提升30%,独立核心增加50%以上,内存带宽提升75%以上。Graviton4还进一步通过高速物理硬件接口的完全加密提升了安全性。Amazon EC2 R8g内存优化性实例将采用最新的Graviton4,提升客户运行高性能数据库、内存缓存、大数据分析等工作负载的效率。R8g实例相比当前一代R7g实例提供更大的实例大小,虚拟处理器(vCPU)以及内存均提升了3倍。这让用户可以处理更大量的数据、更大规模的工作负载、更快地获得运行结果,并降低总拥有成本。基于Graviton4的R8g实例现已提供预览版,并将在未来几个月推出正式可用版。

Trainium2EC2 UltraClusters致力于为客户提供云中最高性能、最具能效的AI模型训练基础架构

如今日益增加的生成式 AI 应用背后的基础模型和大语言模型需要使用海量数据集进行训练。这些模型通过创造文字、音频、图片、视频、甚至软件代码等大量新的内容,帮助客户重构用户体验。当今最先进的基础模型和大语言模型通常包含亿甚至数万亿个参数或变量,需要能够支持上万机器学习芯片进行扩展的可靠高性能计算能力。亚马逊云科技现已提供广泛而深入的机器学习芯片支持的Amazon EC2实例选项,包括最新的英伟达 GPU、Trainium以及Inferentia2。Databricks、Helixon、Money Forward以及Amazon Search团队等众多客户都在使用Trainium训练大规模深度学习模型,从而受益于Trainium的高性能、可扩展、可靠以及低成本等诸多优势。但即便已经在使用当今最快的加速实例,客户仍然希望获得更强的性能和规模来训练这些日益复杂的模型,从而提高训练速度、降低成本,同时降低能源消耗。

Trainium2芯片专为以高性能训练具有亿个参数或变量基础模型和大语言模型而构建。Trainium2与第一代Trainium芯片相比,性能提升多达4倍,内存提升3倍,能源效率(每瓦性能)提升多达2倍。Amazon EC2 Trn2实例采用最新的Trainium2,一个单独实例包含16个Trainium加速芯片。Trainium2实例致力于为客户在新一代EC2 UltraClusters中扩展多达100,000个Trainium2加速芯片,并与Amazon Elastic Fabric Adapter(EFA)PB级网络互联,提供的算力高达65 exaflops,客户可按需获得超级计算级别的性能。有了这个级别的规模,客户可在数周而非数月就能训练完成一个具有3千亿参数的大语言模型。通过以显著降低的成本提供最高横向扩展的模型训练,Trainum2实例可以帮助客户解锁并加速生成式AI的新一轮创新。

Anthropic是一家人工智能安全和研究公司,是负责任地部署生成式人工智能的主要倡导者,致力于创建可靠、可解释和可控的人工智能系统。Anthropic自2021年开始使用亚马逊云科技。近期,Anthropic推出了Claude——一款专注于提供帮助、无害且诚实的人工智能助手。Anthropic联合创始人Tom Brown表示:“自支持Amazon Bedrock以来,Claude已获得亚马逊云科技客户的广泛采用。Trainium2将帮助我们大规模构建和训练模型,对于一些工作负载,Trainium2相比第一代Trainium芯片速度至少提升了4倍。我们与亚马逊云科技的合作,将帮助各种规模的组织有机会同时受益于Anthropic的安全并先进的人工智能系统以及亚马逊云科技可靠的云技术,从而释放新的可能性。”

Databricks帮助全球超过10,000家组织机构,包括Comcast、Condé Nast及50%以上的财富500强企业,统一其数据、分析和AI。Databricks生成式AI副总裁Naveen Rao表示:“数千家客户在亚马逊云科技上运行Databricks,使用MosaicML对各种用例的基础模型进行预训练、微调及其他操作。Amazon Trainium为我们提供了训练Mosaic MPT模型所需要的规模、高性能以及低成本。Trainium2使更快的构建下一代Mosaic MPT模型成为可能,让我们有机会为客户提供前所未有的规模和性能,助力他们比以往更快地推出自己的生成式AI应用。”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/191535.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux: 退出vim编辑模式

一、使用快捷键进行退出 1、按“Esc”键进入命令模式 当我们在vim编辑模式下输入完毕需要进行退出操作时,首先需要按下“Esc”键,将vim编辑器从插入模式或者替换模式切换到命令模式。 ESC 2、输入“:wq”保存并退出 在命令模式下,输入“:…

锐捷RG-UAC应用网关 前台RCE漏洞复现

0x01 产品简介 锐捷RG-UAC系列应用管理网关是锐捷自主研发的应用管理产品。 0x02 漏洞概述 锐捷RG-UAC应用管理网关 nmc_sync.php 接口处存在命令执行漏洞,未经身份认证的攻击者可执行任意命令控制服务器权限。 0x03 复现环境 FOFA:app"Ruijie-R…

JavaWeb | JavaScript基础

目录: 1.JavaScript简介2.JavaScript注释3.JavaScript语法 :变量的定义函数的定义 4.JavaScript内置对象4.1 window的作用 :出现提示框打开关闭窗口定时器 4.2 history的作用4.3 document的作用 :在网页上输出设置网页属性访问文档元素,特别是…

jni子线程回调java实例

背景 最近有项目需求,需要在jni中创建多个子线程,并在子线程中,回调java将byte[]数据上报给java处理 demo实例 关键代码 static jmethodID method_callback; jclass global_class NULL; jclass myClass NULL; JavaVM* gJavaVM NULL;ji…

6.8 Windows驱动开发:内核枚举Registry注册表回调

在笔者上一篇文章《内核枚举LoadImage映像回调》中LyShark教大家实现了枚举系统回调中的LoadImage通知消息,本章将实现对Registry注册表通知消息的枚举,与LoadImage消息不同Registry消息不需要解密只要找到CallbackListHead消息回调链表头并解析为_CM_NO…

基于Java SSM人才市场管理系统

随着人才流动的正常化以及大专院校毕业生就业人数的增长,人才市场的业务越来越红火。人才市场管理系统实现对人才市场业务的规范化管理。系统主要管理的信息及操作如下: 用人单位:编号、名称、联系人、电话、招聘人数、学历要求、职称要求。 …

【Java面试——基础题】

Java基础部分,包括语法基础,泛型,注解,异常,反射和其它(如SPI机制等)。 1.1 语法基础 面向对象特性? 封装 利用抽象数据类型将数据和基于数据的操作封装在一起,使其构成…

kubelet漏洞CVE-2020-8559复现与分析

首先下载源码 git clone --branch v1.17.1 --single-branch https://github.com/kubernetes/kubernetes.git 参考 移花接木:看CVE-2020-8559如何逆袭获取集群权限-腾讯云开发者社区-腾讯云

React Router(用法介绍)

React Router 是一个用于在 React 应用中处理路由的库。它允许你定义应用程序中的多个页面,并在 URL 改变时显示不同的内容。 要使用 React Router,你需要首先安装它: npm install react-router-dom然后,在你的应用中引入所需的…

一些小笔记(Delphi)

工具:Delphi10.4 用Delphi写了一个解析json文件的小程序, 需求是能解析整个文件夹中的所有文件,也能只解析某一个文件,文件或者文件夹的路径能够直接填写,也能够通过选择的方式去填充。 我的解决办法如下&#xff1…

12-1 Springboot过滤拦截和日志处理

Springboot的日志 默认日志框架:logback 1.日志以文件的形式的保存 使用logback框架 ->(运行日志,开发中用于调式的,在开发中作为系统运行日志记录故障,从而追究问题根源) 2.日志相关的表 记录用户相关操作信息 -> 需要我…

<Linux>(极简关键、省时省力)《Linux操作系统原理分析之linux存储管理(2)》(18)

《Linux操作系统原理分析之linux存储管理(1)》(17) 6 Linux存储管理6.2 选段符与段描述符6.2.1 选段符6.2.2 段描述符6.2.3 分段机制的存储保护 6.3 80x86 的分页机制6.3.180x86 的分页机制6.3.2 分页机制的地址转换6.3.3 页表目录…

PTA预编译中的宏定义:求平行四边形面积

已知平行四边形面积函数的原型如下: 函数原型 double ParaArea(double base, double height); 说明:参数 base 和 height 分别为平行四边形的底和高,函数值为平行四边形的面积。 请在空白处填写适当内容,用带参数的宏替换命令…

FWFT-FIFO的同步和异步verilog代码

//----------------------------------------------------------------------------- // File Name : fifo_sync.v //----------------------------------------------------------------------------- //参数化同步FIFO。DEPTH可以是任何大于0的整数值。实际使用的内存深度是…

嵌入式WIFI芯片通过lwip获取心知天气实时天气信息(包含完整代码)

一、天气API 1. 心知天气的产品简介 HyperData 是心知天气的高精度气象数据产品,通过标准的 Restful API 接口,提供标准化的数据访问。无论是 APP、智能硬件还是企业级系统都可以轻松接入心知的精细化天气数据。 HyperData API V4版是当前的最新…

运筹学-使用python建模基本操作

运筹学中的python基本操作 运筹学库的基本介绍MIP 库的使用networkx 库的使用运筹学 所谓运筹学(Operation Research) 就是用数学方法研究各种系统最优化问题的学科,为决策者提供科学决策的依据,求解系统最优化问题,制定合理运用人力,物力,财力的方案。 库的基本介绍 对…

Go函数和方法之间有什么区别

基础知识 在了解两者不同之前,还是简单的回顾一下基础语法知识。下面的实例,定义一个函数和方法,然后调用函数和方法。 package mainimport "fmt"// 函数和方法 func function1() {fmt.Println("我是一个名字叫做function1的…

要致富 先撸树——判断循环语句(六)

引子 什么?万年丕更的作者更新了? 没错!而且我们不当标题党,我决定把《我的世界》串进文章里。 什么?你不玩《我的世界》? 木有关系 本专栏文章主要在讲c语言的语法点和知识,保证让不玩《我…

Azure Machine Learning - 在 Azure 门户中创建AI搜索技能组

你将了解 Azure AI 搜索中的技能组如何通过添加光学字符识别 (OCR)、图像分析、语言检测、文本翻译和实体识别,在搜索索引中创建可搜索文本的内容。 关注TechLead,分享AI全维度知识。作者拥有10年互联网服务架构、AI产品研发经验、团队管理经验&#xff…

Python程序员入门指南:就业前景

文章目录 标题Python程序员入门指南:就业前景Python 就业数据Python的就业前景SWOT分析法Python 就业分析 标题 Python程序员入门指南:就业前景 Python是一种流行的编程语言,它具有简洁、易读和灵活的特点。Python可以用于多种领域&#xff…