亚马逊云科技用生成式AI,向开发的复杂性动手了

生成式 AI、分布式扩展功能全面进化,还降价了。

同一天的发布,完全不同的方向。

今天凌晨,云计算巨头亚马逊云科技的 re:Invent 与大号创业公司 OpenAI 的发布「撞了车」。后者公布了一系列生成式 AI 应用,价格更贵、性能更强大,而前者则致力于简化生产力矛盾,降低价格。

不约而同的是,他们的发力点都在生成式 AI 等新技术的应用上。

正如亚马逊副总裁兼 CTO Werner Vogels 博士在演讲时所说的,想要做好基础设施,问题的核心是「复杂性」。「Complexity」这个单词,在他整场演讲中出现了近 70 次。

图片

在《Lessons in Simplexity》(繁简之道)中,Werner Vogels 将自己在亚马逊 20 年构建底层架构的经验浓缩为六条金句,句句有关人们如何面对日益复杂的技术系统。台上的 PPT 每一次翻页,都让台下的观众默契地举起手机。

这六条经验是这样说的:

Lesson 1 - Make evolvability a requirement

Evolvability is a prediction for managing complexity 

将可演化性作为一项要求,可演化性是应对复杂性的一种预判

Lesson 2 - Break complexity into pieces

Disaggregate into building blocks with high-cohesion and well-defined APIs 

将复杂性拆解成多个部分,分解为内聚性高且有明确定义 API 的构建模块

Lesson 3 - Align organization to architecture

Build small teams, challenge the status quo, and encourage ownership 

让组织与架构相匹配,组建小团队,挑战现状并鼓励主人翁意识

Lesson 4 - Organize into Cells

In a complex system you must reduce the scope of impact 

组织成单元形式,在复杂系统中必须缩小影响范围

Lesson 5 - Design predictable systems

Reduce the impact of uncertainty 

设计可预测的系统,降低不确定性的影响

Lesson 6 - Automate Complexity

Automate everything that doesn’t require high judgement 

使复杂性自动化,将不需要高度判断力的一切事务自动化

化繁为简,正是亚马逊云科技希望帮助千行百业用户做到的事情。这几天的大会上,亚马逊云科技概述了一系列围绕云计算、云数据库的创新。

如何让开发者和用户感受到「简单了」?答案是进化。亚马逊云科技还详细介绍了其整体战略,并概述了向量数据库是如何对生成式 AI 提供加持的。除了一系列创新,还有降价措施,包括 Amazon DynamoDB 的按需定价降低了 50%。

简单点,再简单点。这几乎是当下所以企业用户引入生成式 AI 技术时的共同诉求。

在今年的 re:invent 2024 发布内容中,这一原则体现的淋漓尽致。

AI Agents

让复杂的技术系统自动运转

最近一段时间,智能体(AI Agents)是生成式 AI 领域的重要发展方向,一系列应用快速落地。先有 Anthropic 基于最新的基础大模型 Claude 3.5 Sonnet 提出了可以操纵 PC 的智能体功能,紧接着荣耀展示了基于新一代操作系统 MagicOS 9.0 的全局智能体。在生产力端,微软也在 10 月推出了多种 Copilot 智能体,包揽了销售、服务、财务、供应链团队的任务。

其实在企业开发环境中,AI 智能体的引入也早已开始。

去年在 re:Invent 大会上,亚马逊云科技预览了生成式 AI 助手 Amazon Q Developer,它可用于跨集成开发环境(IDE)的设计、构建、测试、部署和维护,其中就有一系列 AI 智能体的能力。

比如,Amazon Q Developer 可以自动分析代码库、生成转换计划并执行转换任务,包括升级和替换 NuGet 包和 API、重写已弃用和低效的代码组件,以及移植到跨平台 .NET 等等。

今年 4 月, Amazon Q Developer 全面上市,并增加了更多功能,例如支持 AWS 命令行界面(AWS CLI)、Amazon SageMaker Studio、AWS CloudShell 以及内联的对话功能,以便开发者在 IDE 中进行无缝编码操作。

图片

Amazon Q Developer 的一大价值在于,各个领域的专家通过自然语言交互就能构建准确、生产质量的模型,即使他们不具备生成式 AI 开发方面的专业知识。任何团队都能够更快地创新并缩短上市时间,同时减轻了对技术专家的依赖,或者说,原本储备的技术专家可以专注于更复杂的技术挑战。

现在,Amazon Q Developer 的智能体功能有了更多的扩展,包括:1)增强代码库中的文档 (/doc),2)支持代码审查以检测和解决代码质量问题 (/review),3)在 IDE 或 GitLab Duo with Amazon Q(预览版)上自动生成单元测试、提高整个软件开发生命周期的测试覆盖率(/test)的功能。

新版 Amazon Q Developer 强化了用于 .NET、大型机和 VMware 等工作负载的转换功能。亚马逊云科技还宣布在 Amazon Q Developer 中推出了帮助调查和修复运营问题的新功能预览版。

Amazon Q Developer 正在改变传统的开发工作流程,让开发环境中集成各种生成式 AI 功能。这种无缝集成有助于人们保持专注,同时加速除代码之外的各种开发任务,从而提高生产力。

Amazon Q Developer 还把智能体带入到了 GitLab,将其转变为支持 AI 驱动的 DevSecOps 统一开发体验,能利用 AI 智能体来协助复杂的多步骤任务,并提供增强的代码审查和单元测试功能。

亚马逊云科技表示,通过 GitLab 快速操作与 Amazon Q Developer 的交互非常简单:直接在问题描述、一般评论或合并请求评论中输入 /q,开发者即可呼叫 AI 能力来帮助处理日常任务和复杂的工作流程。

从一系列新能力中,我们可以看到,亚马逊云科技对于 AI 智能体能力的应用有别于微软、Anthropic 等提出的方案,前者更多基于自身的微服务,更加面向具体的工作目标。

图片

可以说,亚马逊云科技长久以来基于真实工程任务的经验塑造了其生成式 AI 工具的可用性。这种面向生产的技术能够帮助开发者们更快地部署新能力、简化工作流程、管理状态,并在专门的智能体之间动态分配任务。

这些 AI 能力想必会很快获得大规模应用,毕竟在生产环境中,实用性说了算。

一个窗口搞定所有开发

下一代 Amazon Sagemaker 拿捏了

生成式 AI 技术的确抬高了技术系统处理复杂任务的能力,但与此同时带来的系统复杂度提升,也成为了一座难以跨越的大山。

对于各家所有云服务和数据平台提供商来说,这个问题更加值得深入思考——因为它们的客户分布于千行百业,需求各不相同。

在这一次有关于生成式 AI 的发布中,亚马逊云科技化零为整,将所有的数据管理、AI 开发、分析能力打包装进了下一代 Amazon SageMaker。

Amazon SageMaker 诞生至今已有数年,最初是它只是一项用于开发和部署机器学习模型的托管服务。但在随后的几年里,这项服务一直在沿着 AI 技术的演化稳步进行现代化改造。

如果说前几年亚马逊云科技始终专注于大幅扩展 Amazon SageMaker 的功能,那么今年,「精简」是新的目标。它是所数据、分析、和 AI 需求的中心,包含全新发布的 SageMaker Unified Studio 以及 SageMaker Lakehouse,集成数据目录与治理,支持数据源的无缝对接,将数据分析、数据治理以及 AI/AL 整合于一体。

全新发布的 Amazon SageMaker Unified Studio 就像是一个「全家桶」,既有积累多年的机器学习开发功能,又加入了之前分散的数据管理和应用程序开发服务,几乎涵盖了数据探索、准备和集成、大数据处理、快速 SQL 分析、机器学习 (ML) 模型开发和训练以及生成式 AI 应用程序开发所需的所有组件。

图片

基于新版本的 Amazon SageMaker HyperPod,用户只需几分钟即可开始训练和微调这些基础模型并获得最先进的性能,包括 Llama 3.1 405B。

当然,Amazon SageMaker Unified Studio 也内置了 Amazon Q Developer,用来提供辅助。必要的时候,开发者可以直接使用自然语言提问,比如「我应该使用哪些数据来更好地了解产品销售情况?」或「生成 SQL 以按产品类别计算总收入」。

除了 Amazon SageMaker Unified Studio 之外,亚马逊云科技还推出了 Amazon SageMaker Catalog 和 Amazon SageMaker Lakehouse。前者允许管理员使用具有精细控制的单一权限模型定义和实施 Amazon SageMaker 中 AI 应用程序、模型、工具和数据的访问策略,后者提供了从 Amazon SageMaker 和其他工具到存储在 AWS 数据湖、数据仓库和企业应用程序中的数据的连接。

这种转变的决心来源于亚马逊云科技对客户需求变化的洞察。生成式 AI 技术的爆发直接改变了数据团队和开发团队的合作方式,逐渐走向无缝协作的境界,目前的显著挑战在于数据孤立且分散在各个系统中,他们必须构建和维护复杂的数据管道,而且由于访问控制不一致,团队难以有效地访问和使用数据。

这也是为什么亚马逊云科技在迭代时,选择将数据、分析和 AI 集成到同一个界面中的原因。

通常来说,生成式 AI 开发中混合的模型类型和数据类型越多,就越能丰富分析输出、丰富业务工作流程。而 Amazon SageMaker Unified Studio 在集成上迈出的这一步,减少了用户用于管理多方面数据和多方面分析的工具和平台数量,带来了技术系统复杂性的大大降低。

数据存储、数据库的「加减法」

为用户减负做到极致

在部署和调用生成式 AI 的过程中,开发人员和企业用户会遇到很多难题,尤其在数据层面,要全方位考虑数据存储、数据库建设与迁移等不断演化的事实以及随之而来,对技术和功能的更高要求。

正如 Werner Vogels 在会上所言,「软件系统必须要具备轻松适应未来变化的能力」。面对数据层面日新月异的变化,亚马逊云科技从一开始便要在基础架构的可演化性层面下足功夫。

针对数据存储,亚马逊云科技早在 2006 年就推出 Amazon S3(Simple Storage Service)云服务,成为其高度可扩展、持久、安全且低成本的多类型数据存储基础设施。此后,Amazon S3 在功能演化的同时注重做减法。新推出的 Amazon S3 Tables 功能支持 Apache Iceberg 格式的云存储,相较通用 S3 存储桶提供了 3 倍的查询性能、10 倍的每秒事务数(TPS),并能自动管理表维护任务。

如今 Amazon S3 微服务数量已经达到了 300+ 个,通过微服务架构将整个应用拆解为多个独立、功能明确的子服务,与 S3 的交互被大幅简化,相应的数据存储在独立的 S3 存储桶中,有助于数据隔绝管理,还能轻松扩展存储容量、确保高可用性和数据持久性。

可以看到,Amazon S3 的演化历程呼应了 Werner Vogels 所说的将复杂性分解成小的构建模块、组织成单元形式并在复杂系统中缩小影响范围等经验,既精简了流程,也降低了用户的使用门槛。

不仅如此,亚马逊云科技还进一步更新 Amazon S3 的一项默认行为,自动验证用户数据是否通过网络从应用程序正确传输到 S3 存储桶中。并且 S3 可以在数据到达服务器时计算并校验数据完整性,主动监控数据的冗余性,减少并发故障的出现。

图片

数据库是每个应用程序的基础构建块,客户要依靠它们来搞定自身最关键的工作负载。为了更高效支持用户在 Amazon EC2(Elastic Compute Cloud)上运行数据库,亚马逊云科技推出 Amazon Aurora DSQL(分布式 SQL 数据库)、Amazon DynamoDB NoSQL 全局表、Amazon MemoryDB 多区域功能,进一步保障需要跨多区域运行的最苛刻工作负载。

与其他流行的分布式 SQL 数据库相比,Amazon Aurora DSQL 能帮助用户构建具有最高可用性、强一致性、兼容 PostgreSQL 且读写速度提升 4 倍的应用程序,进而实现进阶版的系统分解、低耦合 / 高内聚、定义明确的 API 以及细粒度控制、独立扩展和定制化安全。

Amazon DynamoDB 全局表支持多区域强一致性,确保用户的应用程序始终在全局表的任何区域读取最新数据,消除了跨多个区域管理一致性的繁重工作,并且无需更改任何应用程序代码。

Amazon MemoryDB 多区域功能则可以进一步帮助用户构建 99.999% 高可用性、全球分布的应用程序,并实现微秒级读取和个位数毫秒级跨区域延迟。

图片

最后,亚马逊云科技在 Amazon S3 文件传输和数据库迁移服务两个方面也竭力为用户减负。其中通过 Transfer Family Web 应用程序,用户可以创建一个完全托管的 Web 应用程序,轻松地列出、上传、下载、复制和删除特定 Amazon S3 中的数据。DMS(Database Migration Service)的 Schema Conversion 现在可以使用生成式 AI 来自动执行耗时的数据库架构转换,自动化率达到 90%,无疑会大大减少手动工作量。

可以预见,亚马逊云科技通过持续功能上的加法、用户部署上的减法,让人们得到了在数据存储和数据库层面的最优选择,质优、价低、上手易,赢得更多青睐也是理所当然。

越简单,越强大

如今,生成式 AI 已经进入到了比拼落地能力的关键阶段,对于众多应用开发者来说,关注点不仅仅是模型强不强,更关注好不好用、用不用得起。相关基础设施和配套服务的完善程度很大程度上将决定用户的选择。

这几天的 re:Invent 大会,无时无刻不在释放这样一种信号:亚马逊云科技不仅要在大模型的能力上对标甚至超越 OpenAI、谷歌、Anthropic,更要践行用户为上的理念。

「为用户创造价值」说来简单,但拆解开来,将是一场漫长的变革:不断将产品和服务的复杂性降到最低,通过功能创新、AI 自动化流程来简化一切客户体验。

图片

一旦我们习惯了如此简单、强大的技术系统,就很难再想象没有它的日子。

2024 年行将结束的当口,终于有一家公司把生成式 AI 与生产力切实结合到了一起。不得不说,亚马逊云科技为生成式 AI 的落地,吹响了加速的号角。

 点击访问我的技术博客https://ai.weoknow.com/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/63784.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【操作系统】实验二:观察Linux,使用proc文件系统

实验二 观察Linux,使用proc文件系统 实验目的:学习Linux内核、进程、存储和其他资源的一些重要特征。读/proc/stat文件,计算并显示系统CPU占用率和用户态CPU占用率。(编写一个程序使用/proc机制获得以及修改机器的各种资源参数。…

day2 数据结构 结构体的应用

思维导图 小练习: 定义一个数组,用来存放从终端输入的5个学生的信息【学生的信息包含学生的姓名、年纪、性别、成绩】 1>封装函数 录入5个学生信息 2>封装函数 显示学生信息 3>封装函数 删除第几个学生信息,删除后调用显示学…

SQL Server:只有MDF文件,如何附加数据库

第一步:先新建一个同名数据库,然后停止sql服务,删除新建数据库.ldf文件。 第二步:将要附加的数据库的.mdf文件覆盖刚新建的.mdf文件,并重启sql服务。 第三步:这时数据库DATA目录下只有一个.mdf文件&#xf…

React开发高级篇 - React Hooks以及自定义Hooks实现思路

Hooks介绍 Hooks是react16.8以后新增的钩子API; 目的:增加代码的可复用性,逻辑性,弥补无状态组件没有生命周期,没有数据管理状态state的缺陷。 为什么要使用Hooks? 开发友好,可扩展性强&#…

jmeter调整字号无法生效?

调整之前如上图,字体非常小,哪怕我设置的字号是48 查阅了资料,试了几次,解决办法如下: 用编辑器打开jmeter.bat 在echo off的下一行添加以下代码 set JVM_ARGS%JVM_ARGS% -Dswing.plaf.metal.controlFontDialog-20…

密码学——密码学基础、散列函数与数字签名

1.密码学概述 是信息安全的基础和核心,是防范各种安全威胁的重要手段,信息安全的许多相关知识都与密码学相关。 密码学发展 密码学是一门古老而又年轻的学科 ,几千年以前就存在,至今仍在发展演进。地位非常重要甚至起决定性作用…

知识图谱8:深度学习各种小模型

1、知识图谱的展示有很多工具 Neo4j Browser - - - - 浏览器版本 Neo4j Desktop - - - - 桌面版本 graphX - - - - 可以集成到Neo4j Desktop Neo4j 提供的 Neo4j Bloom 是用户友好的可视化工具,适合非技术用户直观地浏览图数据。Cypher 是其核心查询语言&#xf…

Python | 数据可视化中常见的4种标注及示例

在Python的数据可视化中,标注(Annotation)技术是一种非常有用的工具,它可以帮助用户更准确地解释图表中的数据和模式。在本文中,将带您了解使用Python实现数据可视化时应该了解的4种标注。 常见的标注方式 文本标注箭…

在Goland中对goroutine协程断点调试

在Goland中对goroutine协程断点调试 环境: Goland 参考了 chatgpt 的回复 进行断点调试的代码 package mainimport ("fmt""sync""time" )// worker 模拟处理任务 func worker(id int, wg *sync.WaitGroup) {defer wg.Done() // 确保任务完成后…

深入理解 JavaScript 中的 Array.find() 方法:原理、性能优势与实用案例详解

目录 深入理解 JavaScript 中的 Array.find() 方法:原理、性能优势与实用案例详解 一、引言:为什么要使用Array.find() 二、Array.find()的使用与技巧 1、基础语法 2、返回值 3、使用技巧 三、Array.find()的优势与实际应用案例 1、利用返回引用…

Docker 安装 Jenkins:2.346.3

准备:已安装Docker,已配置服务器安全组规则 1581 1、拉取镜像 [rootTseng ~]# docker pull jenkins/jenkins:2.346.3 2.346.3: Pulling from jenkins/jenkins 001c52e26ad5: Pull complete 6b8dd635df38: Pull complete 2ba4c74fd680: Pull complet…

Datawhale AI 冬令营(第一期)定制你的第一个专属模型-学习笔记

最近我报名参加了Datawhale组织的主题为“动手学系列,人人都能应用的AI”的Datawhale AI冬令营(第一期)。 本次学习一共12天,从12月10日-12月21日,学习会包含【跑通速通手册】,【学习大模型微调&数据集…

异常安全重启运行机制:健壮的Ai模型训练自动化

文章目录 前言一、热力图主函数代码1、正规N图热力图运行代码2、重新迭代循环求解方法 二、中断重启继续推理或训练1、封装含参主函数2、终止重启进程管理方法1、终止启动源码2、源码解读 三、终止启动主函数源码解读1、终止启动源码2、源码解读关键点解析 四、完整代码Demo1、…

Redis01

springbootredis 特点 1.高效性 2.支持多种数据结构 String,list,set,hash.zset 3.稳定性:持久化,主从复制(集群) 4.其他特性:支持过期时间,支持事务,消息订阅。 安装 1.下载安装包 redis官…

【Unity】Amplify Shader Editor

Amplify Shader Editor (ASE) Amplify Shader Editor,是一个功能强大的基于节点的着色器开发工具,允许开发者在 Unity 中轻松创建和管理复杂的 Shader。 主要功能和特点 基于节点的编辑器: • 提供直观的可视化界面,减少手写 Sh…

Elasticsearch使用(2):docker安装es、基础操作、mapping映射

1 安装es 1.1 拉取镜像 docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/library/elasticsearch:7.17.3 1.2 运行容器 运行elasticsearch容器,挂载的目录给更高的权限,否则可能会因为目录权限问题导致启动失败: docker r…

scroll-view 实现滑动显示,确保超出正常显示,小程序app,h5兼容

在uniapp 开开发的项目中,滑动操作是很多的 1.在插件市场使用了几款插件,但是都不太好用,要么是 显示的tab 过多,滑动到最后一个,当前显示那个跑左边显示不全,要么是滑动到最后一个后面的无法自动滑动&…

SpringBoot Maven快速上手

文章目录 一、Maven 1.1 Maven 简介:1.2 Maven 的核心功能: 1.2.1 项目构建:1.2.2 依赖管理: 1.3 Maven 仓库: 1.3.1 本地仓库:1.3.2 中央仓库:1.3.3 私服: 二、第一个 SpringBoot…

funcaptcha 验证码逆向协议通过,算法实现

声明 本文章中所有内容仅供学习交流,抓包内容、敏感网址、数据接口均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关,若有侵权,请联系我立即删除!

【C语言】浮点数的原理、整型如何转换成浮点数

众所周知C语言中浮点数占四个字节,无论在32位或者64位机器上。不免会发出疑问四个字节是怎么计算出小数的呢?其实物理存放还是按照整型存放的。 IEEE 754 单精度浮点数格式 浮点数在计算机中是使用 IEEE 754 标准进行表示的。在 IEEE 754 标准中&#…