re:Invent大会第十年,亚马逊云科技推出了哪些底层自研技术

 

编辑 | 宋慧

出品 | CSDN云计算

头图 | 付费下载于视觉中国

一转眼, 亚马逊云科技的云计算已经推出了十五年,亚马逊云科技的年度大会 re:Invent 也举办到了第十年。

今年 re:Invent全球 大会上,亚马逊云科技继续向前,发布系列重磅的自研计算存储底层技术、将云服务拓展至太空数据服务、用 AI 机器学习驱动数据分析与应用、用 API 低代码去降低云计算门槛、低碳等等。从全球云计算巨头的举措,我们能窥见,云在走向全面而融合的趋势。

自研第三颗 CPU Graviton 3、固态硬盘 Nitro,投身挖掘硬件性能技术前沿

现在,国内外云计算、互联网巨头,都在重点投入底层基础设施的硬件技术研发。今年 re:Invent 大会上,亚马逊云科技就发布了新一代基于 Arm 的自研 CPU 处理器 Amazon Graviton3,这已经是亚马逊云科技自研设计的第三颗 CPU 处理器。由 Amazon Graviton3 处理器支持的 C7g 实例与由 Graviton2 处理器支持的当前一代 C6g 实例相比,可将计算密集型工作负载性能提高多达 25%。Amazon Graviton3 处理器与 Graviton2 相比,为科学计算、机器学习和媒体编码工作负载提供高达 2 倍的浮点运算性能,为加密工作负载速度提升高达 2 倍,为机器学习工作负载提供高达 3 倍的性能。

亚马逊云科技还发布了采用全新 Amazon Nitro SSD 固态硬盘的 Im4gn/Is4gen/ I4i 实例,可为 I/O 密集型工作负载提供超高存储性能。通过自研的 Amazon Nitro SSD,Im4gn/Is4gen/I4i 实例提供高达 30 TB 的 NVMe 存储,与上一代 I3 实例相比,I/O 延迟降低了 60%,延迟可变性降低了 75%,从而最大限度地提高了应用程序性能。Amazon Nitro SSD 通过优化存储堆栈、虚拟化管理程序和硬件与 Amazon Nitro 系统紧密集成。与使用商用 SSD 相比,亚马逊云科技同时管理 Amazon Nitro SSDs 的硬件和固件,使 SSD 更新交付速度更快,让客户可以从改进的功能中获益。Im4gn 实例(现已可用)采用 Amazon Graviton2 处理器,与 I3 实例相比,性价比提高多达 40%,每 TB 存储成本降低多达 44%。Is4gen 实例(现已可用)也采用 Amazon Graviton2 处理器,与 I3en 实例相比,每 TB 存储成本降低多达 15%,计算性能提高多达 48%。

另外,去年 re:Invent 亚马逊云科技宣布研制机器学习训练芯片 Amazon Trainium,在今年的 re:Invent 上也发布了基于 Trainium 的实例。由 Amazon Trainium 芯片支持的 Trn1 实例为在 Amazon EC2 中进行深度学习模型训练提供最佳性价比以及最快的训练速度,与 P4d 实例相比,通过 Trn1 实例训练深度学习模型的成本降低多达 40%。Trn1 实例提供 800Gbps EFA 网络带宽(比最新基于 GPU 的 EC2 实例高两倍),并与 Amazon FSx for Lustre 高性能存储集成,让客户可以启动具有 EC2 UltraClusters 功能的 Trn1 实例。通过 EC2 UltraClusters,开发人员可以将机器学习训练扩展到一万多个与 PB 级网络互连的 Trainium 加速器,让客户按需访问超算级性能,即便是最大型和最复杂的模型,训练时间也可以从几个月缩短到几天。

云的服务还能用在哪里?到太空去

其实不仅亚马逊云科技,其他国内外的云巨头也都在与各类太空卫星研究机构、服务商展开合作,将云服务拓展到太空领域。Amazon Ground Station 就是亚马逊云科技的卫星地面站服务,通过卫星地面站接收数据到亚马逊云科技区域进行处理。接着,Amazon Outposts 将亚马逊云科技的云体验延伸到客户的本地数据中心,与云端无缝连接。IoT 服务、Snowball 家族将云的能力延伸到地球上各个角落。 

另外亚马逊云科技推出新的托管服务 Amazon  Private 5G,则是让企业方便利用 5G 专网来连接企业内的联网传感器和边缘设备,并且通过亚马逊云科技控制台统一管理。

亚马逊云科技还发布了新服务 Amazon Cloud WAN,将亚马逊云科技全球网络的优势带给企业,让企业的广域网跟云融为一体。Amazon Cloud WAN 让企业可以在全球的亚马逊云科技广域网络上建立、管理统一的云网络和监控全球流量。所有的远程用户和站点以及数据中心将使用 虚拟专网 或直接连接到地理位置最近的地方,实际上在几分钟内亚马逊云科技就可以构建一个全球化网络服务。

回到云的基础设施实力,亚马逊云科技基础设施遍及 25 个地理区域的 81 个可用区,并计划新建 9 个区域和 27 个可用区,有 14 个本地扩展区域、17 个 Wavelength 区域,有 108 个 Direct Connect 光纤直连站点,有 310 个边缘站点和 13 个区域缓存站点。在此基础上,亚马逊云科技宣布,2022 年将在 21 个国家建设超过 30 个本地扩展区,让客户以更低的延迟服务其终端用户。亚马逊云科技 2020 年开始在美国建立了两个本地扩展区,2021 年增加了 12 个本地扩展区。2022 年,建立本地扩展区的步伐将进一步加大。

用机器学习,驱动云上海量非结构化数据的应用与创新

在 re:Invent 全球大会上,亚马逊机器学习副总裁 Swami Sivasubramanian 的主题演讲以《如何通过数据与人工智能进行创新》为题。Swami 指出,“数据是推动洞察的潜在力量,有助于更好地开展业务。”他列举了飞利浦医疗、纳斯达克等多种大数据的例子,”从大数据走向海量非结构化数据,事实上 80%的数据是非结构化的。”

在丰富的数据服务组合之上,今年大会上亚马逊云科技又发布多个数据工具:
Amazon DevOps Guru for RDS 是一个数据库性能工具,它利用机器学习,可以在几分钟内自动检测、诊断和解决难以发现的数据库性能问题。
Amazon RDS Custom 提供了 SQL Server 支持,它通过托管式服务节省时间,帮助实现自动化版本维护与补丁升级,将宝贵的资源专注于更重要的业务。
Amazon Dynamodb 的新功能 Standard-Infrequent Access 表类,它可以将不频繁访问的表数据进行分类,DynamoDB 的存储成本降低 60%。
Amazon Database Migration Service Fleet Advisor 是一个数据库迁移工具,它可以帮助客户选择最佳可用的计算实例和配置,用以部署机器学习模型,获得最佳的推理性能和成本,并且将过去数周才能完成的工作缩短到数小时。

本次 re:Invent,亚马逊云科技机器学习平台 Amazon SageMaker 又添六项新功能。
亚马逊云科技新推出的 Amazon SageMaker Ground Truth Plus,让用户无需编写任何代码即可快速交付高质量的训练数据集。数据是机器学习的燃料。不过,准备数据的过程令人沮丧甚至令人愤怒。有了这项新功能,极大地解决了数据科学家准备数据的痛点问题。
在模型构建与算法编写环节,新推出的 Amazon SageMaker Studio Notebook 允许用户访问广泛的数据源,在一个记事本中执行数据工程、分析和机器学习工作流。
新推出的 Training Compiler 模型训练编译器,让机器学习模型培训速度提高 50%。Inference Recommender 模型推理推荐程序,可将部署时间从数周减少到数小时。Serverless Inference 无服务器推理,通过按使用付费的定价降低拥有成本。

API、低代码,降低云计算使用者开发门槛

其实亚马逊云科技的每一个云服务,从第一天诞生起,API 就无处不在,例如计算服务 Amazon EC2 是 API,存储的 Amazon S3 也是 API,再比如创建网络拓扑、创建数据库资源、起停关这些操作,都是通过 API 来实现的。

为了帮助客户最大限度实现数据价值,亚马逊云科技千方百计降低数据使用的门槛。无论是开发人员、运维人员、数据科学家、行业用户,还是即将进入云计算行业的初学者,亚马逊云科技都在不断推出新的服务和功能,降低他们的使用门槛。

对于微服务化应用的开发者,Amazon App Runner 将底层使用 Fargate、ALB 和 Route 53 等服务能力封装,让开发者更容易去部署。通过 App Runner,开发者可以快速、大规模实现通过代码或者容器镜像的方式,部署一套线上可用、可轻松扩展的应用。

Amplify 是亚马逊云科技针对 Java 等前端框架的开发人员的全栈开发需求,将 亚马逊云科技底层能力,如调用云原生数据存储 Amazon DynamoDB 以及身份认证服务 Amazon  Cognito 等封装,降低了对于后端服务逻辑没有开发概念或者没有相应技能的前端人员,通过前端技术去开发整个后端服务。另外亚马逊云科技还最新推出了 Amazon Amplify Studio,让前端开发人员以低代码的方式,在手机端、web 端实现端到端的,包括 UI、包括后端业务逻辑创建的能力。

为了让运营人员更加轻松,亚马逊云科技今年带来了 RDS 的 DevOps Guru,以及四个无服务器的分析服务、Amazon Redshift ML、Amazon Canvas、Amazon QuickSight Q 等等,让业务人员更加轻松,不用求人就可以自己做数据分析,甚至做机器学习。亚马逊云科技还针对特定的行业,如制造业、汽车行业分别推出了数字孪生、Amazon IoT TwinMaker 以及为车联网数据更好传输的 Amazon IoT FleetWise。

除了多项技术开发与云服务的技术,在低碳环保方面,为了应对气候危机,由亚马逊和 Global Optimism 共同发起了《气候宣言》,呼吁签约各机构采取紧急行动,在 2040 年前实现净零碳排放,提前十年达成《巴黎协定》目标。亚马逊以身作则,承诺到 2030 年 100% 使用可再生能源为公司运营提供动力。大会上,亚马逊将计划再次提速,希望到 2025 年实现这一目标。

从今年的 re:Invent 大会,我们能看到,云上的一切,亚马逊云科技都在有条不紊的推进。云上已经全面融合了数据、AI 等应用与创新的事务,而云计算巨头也在承担更多社会责任。所有这些之上,技术也将更加稳步向前,值得期待。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/512910.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

微信小程序(uniapp)api讲解

Uniapp是一个基于Vue.js的跨平台开发框架,可以同时开发微信小程序、H5、App等多个平台的应用。下面是Uniapp常用的API讲解: Vue.js的API Uniapp采用了Vue.js框架,因此可以直接使用Vue.js的API。例如:v-show、v-if、v-for、comput…

mysql 5.7 binlog 压缩_mysql binlog压缩处理

前一段时间系统mysql压力较大,产生大量binlog,大量的binlog删除后又担心后期出现问题难以调查,保存后又占用本身的空间存储。每天产生的binlog可以多达5-6G。因此考虑是否扩容机器达到目的?经过运维同学 建议,可以压缩…

高度为5的3阶b树含有的关键字个数_第15期:索引设计(索引组织方式 B+ 树)

谈到索引,大家并不陌生。索引本身是一种数据结构,存在的目的主要是为了缩短数据检索的时间,最大程度减少磁盘 IO。任何有数据的场景几乎都有索引,比如手机通讯录、文件系统(ext4xfsntfs)、数据库系统(MySQL…

ARMS企业级场景被集成场景介绍

简介: ARMS企业级场景被集成场景介绍 通过本次最佳实践内容,您可以看到ARMS OpenAPI可以灵活的被集成到客户链路监控场景,并对其进行可视化图形展示监控信息。 1. 背景信息 应用实时监控服务ARMS(Application Real-Time Monitor…

千万并发连接下,如何保障网络性能

过去几十年互联网呈爆发式的增长,内容的丰富以及层出不穷的DDoS攻击等,对网络性能提出了极大的挑战,也同样促进了网络基础设施的快速发展。运营商的带宽越来越大,CPU/网卡等硬件的性能也会越来越强。但在很长时间内,软…

kafka window 启动_Apache Flink结合Kafka构建端到端的Exactly-Once处理

Apache Flink自2017年12月发布的1.4.0版本开始,为流计算引入了一个重要的里程碑特性:TwoPhaseCommitSinkFunction(相关的Jira)。它提取了两阶段提交协议的通用逻辑,使得通过Flink来构建端到端的Exactly-Once程序成为可…

浅谈云原生架构的 7 个原则

简介: 作为一种架构模式,云原生架构通过若干原则来对应用架构进行核心控制。这些原则可以帮助技术主管和架构师在进行技术选型时更加高效、准确,下面将展开具体介绍。 服务化原则 在软件开发过程中,当代码数量与开发团队规模都扩…

深入浅出FlatBuffers原理

简介: FlatBuffers 是一个开源的、跨平台的、高效的、提供了多种语言接口的序列化工具库。实现了与 Protocal Buffers 类似的序列化格式。主要由 Wouter van Oortmerssen 编写,并由 Google 开源。本文将基于高德地图数据编译增量发布使用了FlatBuffers序…

java 反编译class文件_用Java实现JVM第三章《解析class文件》

解析class文件案例介绍本案例主要介绍通过java代码从class文件中解析;class文件、常量池、属性表;作为类(或者接口)信息的载体,每个class文件都完整地定义了一个类。为了使java程序可以“编写一次,处处运行”,Java虚拟…

解放人与设备距离,5G时代的远程操控该如何完成

物联网这个概念早在十多年前便已提出,其主要依托于移动通讯网络来实现其功能的传输。在过去物联网领域的一些设备控制场景中,我们或多或少都见到过远程控制技术的身影,但受限于当时的网络条件和技术场景,大部分应用都属于对设备的…

Spark 大数据处理最佳实践

开源大数据社区 & 阿里云 EMR 系列直播 第十一期 主题:Spark 大数据处理最佳实践 讲师:简锋,阿里云 EMR 数据开发平台 负责人 内容框架: 大数据概览如何摆脱技术小白Spark SQL 学习框架EMR Studio 上的大数据最佳实践 直播…

CNCF TOC 委员张磊:不断演进的云原生给我们带来了什么?

简介: 任何一种云原生技术,它不再是某种能力的弥补,而是更多地将云的能力以某种方式更简单、更高效地透出给我的应用去使用。无论是容器、K8s 还是 Service Mesh,他们都是在不同的环节帮助应用本身能够更好地去使用云服务。 作者…

php url传递参数_互联网系统(APP、网站等)通信基石——会话(PHP版)

一、会话概述1.1、技术背景互联网通信中采用的Http协议(建立TCP连接->Http请求->Http应答->断开TCP连接)本身是无状态的,即Http各请求之间是相互独立、互不相关的,而大量应用需要将各请求关联起来(如:用户登录系统购物、多次购买行为…

十年探索,云上明灯,re:Invent再启掀产业风暴

15年前,IT基础设施有着太多的限制,成本高、反应慢、灵活度低,对于企业的创新与发展有着很大的伤害。当亚马逊推出全球第一个云计算服务简单存储 Amazon S3时,可能没有太多人相信,这些内容将会开启一个新世界的大门&…

用手机「3D探店」是种什么体验?

简介: 未来场景尽在眼前!阿里云3D全景网站通过云端算法技术自动建模,将线下场景1:1真实还原到线上,让用户足不出户就可以感受到真实的3D空间漫游效果。 在手机里用3D探店打卡是种什么样的体验? 走进商场,每…

mysql bin oct_python 讲解进制转换 int、bin、oct、hex

相关免费学习推荐:python视频教程原理十进制转n进制都可以使用倒除法:对十进制进行除n的运算,直到商为0为止,然后将各个步骤中得到的余数倒着写出来.n进制转十进制:(例子:二进制转十进制)101001 > 2^5 …

java设置字体大小和颜色_Java 设置Excel图表背景填充(颜色、图片填充)

本文介绍通过Java程序来设置Excel图表背景填充的方法,填充时,可设置颜色填充或者加载图片填充;填充区域可设置整个图表区域或者绘图区域。设置方法参考以下内容。使用工具:Free Spire.XLS for Java(免费版)…

英特尔TCI技术落地,锐捷网络发布OCS终端云化新品

编辑 | 宋慧 出品 | CSDN 云计算 2021 年 6 月,国内一直深耕桌面虚拟化的厂商锐捷正式发布了新一代云桌面解决方案——锐捷三擎云桌面解决方案( “精耕细作”桌面云市场的锐捷,重磅发布三擎云桌面 ),其中三擎指的是终端…

从理念到实践跳跃式演进! 云的原生“免疫系统”如何有机作战?

简介: 7月16日,以“原生安全二倍速:全面融入基础设施”为主题的阿里云原生安全线上专题活动收官,诠释由云而生的能力如何解决数字经济时代的安全新挑战,让高等级安全作为一种基础设施,成为数字业务发展的“…

安卓开发替换json字符串中的数据_22个JavaScript开发技巧合集

作者:kancloud转发链接:https://www.kancloud.cn/dennis/tgjavascript/241855开发技巧1、使用var声明变量如果给一个没有声明的变量赋值,默认会作为一个全局变量(即使在函数内赋值)。要尽量避免不必要的全局变量。2、行尾使用分号虽然JavaScr…