Agent开发的一小步,大模型应用的一大步

https://www.sohu.com/a/708426242_425761
Chat GPT带起飞的大模型无疑是上半年最火热的赛道,随着GPT-4的发布,各大互联网巨头、科技公司等纷纷入局。而在国内市场,过去几个月间大模型就已密集“涌现”。

不得不说,ChatGPT是大模型发展的重要里程碑,它将 AI 重新推向了时代中心,成为了新一轮数字技术竞争的制高点。

在“百模大战”愈演愈烈的同时,OpenAI创始成员Andrej Karpathy却将目光转向了另一端——Agent

“每当有新的Agent论文出来的时候,团队都会很兴奋并且认真地讨论。
你们(开发者们)都正站在Agent开发的最前沿,这个领域OpenAI也没什么积累。”
OpenAI创始成员Andrej Karpathy就在黑客马拉松演讲中表示,相比大模型训练,OpenAI内部目前更关注Agent领域。

什么是Agent?

在大模型语境下,可以理解成能自主理解、规划、执行复杂任务的系统。

以AutoGPT和BabyAGI为代表的技术演示型项目,今年4月短暂的火了一阵,但离真正应用到业务中还有一段距离。

现在,Agent第二轮爆发正在酝酿中,标志就是新一轮应用与场景结合更紧密了。

不出意外,先行动起来的又是编程开发行业。

最近的热门开源项目Sweep,直接与GitHub的Issue和Pull Request场景整合,自动“清扫”bug报告和功能请求,直接完成对应代码。

创业公司中,也有OpenAI支持的Cursor代码编辑器,把生成代码抬到了一句话生成整个项目框架的高度。

接下来,Agent也将成为新的起点,成为各行各业构建新一代AI应用必不可少的组成部分。

对此,初创公司Seednapse AI创始人提出构建AI应用的五层基石理论,受到业界关注。

★ Models,也就是我们熟悉的调用大模型API。

★ Prompt Templates,在提示词中引入变量以适应用户输入的提示模版。

★ Chains,对模型的链式调用,以上一个输出为下一个输入的一部分。

★ Agent,能自主执行链式调用,以及访问外部工具。

★ Multi-Agent,多个Agent共享一部分记忆,自主分工相互协作。

创业先锋之外,连AI基础设施的巨头也已经开始在Agent上发力。

比如亚马逊云科技纽约峰会上宣布的Amazon Bedrock Agents新功能,便是这种趋势最有代表性的体现。

Amazon Bedrock Agents在全托管基础模型服务的基础上,又把开发、部署和管理多个Agent的能力打包集成在一起。

如果按照前面的五层基石理论,这类服务相当于直接从第五层开始,大大降低开发门槛。

正如亚马逊云科技在发布会上所形容:

☞ 只用几次点击,搞定能执行任务的生成式AI应用。

可以预见的是,降低了门槛的Agent应用也将在各行各业全面爆发。

Agent,AI应用新时代的起点

怎样才算一个Agent应用?OpenAI华人科学家翁丽莲给出直观的“配方”:

☞ Agent = 大模型+记忆+主动规划+工具使用

以亚马逊云科技平台为例,开发Agent应用首先要根据具体任务场景给Agent选择合适的基础模型。

Amazon Bedrock上除了自家的Amazon Titan大模型,还集结了擅长安全可控的Anthropic、擅长检索汇总信息的Cohere、以及专攻文生图的stability.ai等各家模型。

选好后,把要执行的任务指令直接用文字描述出来,让Agent明白要扮演的角色和要完成的目标。

指令可以是包括一系列“问题-思考步骤-行动步骤-示例”的结构化提示词,在ReAct(协同推理和行动)技术支持下,基础模型可以通过推理和决策找出相应的解决方案。

接下来的重头戏便是Add Action Group(添加动作组)。

Agent要完成的具体任务,以及能使用的工具如企业系统API、Lambda函数等都是在这里设置。

官方演示中是一个保险索赔管理场景,Agent通过提取未结索赔的列表、确定每个索赔的未完成文书工作并向保单持有人发送提醒来管理保险索赔。

所有动作组设置好后,创建Agent和部署都是几次点击就能完成。

部署完成后,在测试中就可以看到Agent理解用户请求、将任务分解为多个步骤(收集未结保险索赔、查找索赔ID、发送提醒)并执行相应的操作。

Amazon Bedrock通过向导式交互界面,减少了配置基础模型所需的编码工作量。

动作组提供调用API实现特定功能,以及使用自己的数据构建差异化应用程序,又让基础模型能够完成更复杂的实际业务任务。

在整个流程中,还可以配合亚马逊云科技平台上的各种安全服务。比如使用PrivateLin建立基础模型和本地网络之间的私有连接,所有流量都不会暴露给互联网。

又通过提供完全托管的服务,让开发者不需要管理底层系统就能发挥基础模型的能力。

最终缩短从基础模型到实际应用的周期,加速基础模型为业务创造的价值。

加速大模型应用,还应关注什么

有了Amazon Bedrock的Agent能力,我们得以快速将大模型投入实际业务,为企业实现降本增效或创新。

但要真正利用生成式AI的全部价值、发挥全部潜力,并与其他竞争对手拉开潜力,私有数据才是其中根本。

换言之,大模型应用落地的关键,是企业自己宝贵的行业数据。

如何集成这些丰富的资源到我们的Agent之中,保证我们的大模型应用在执行任务时能够高效访问到正确的信息——是当下每一个企业都要面对的问题。

当然,这一切都必须以保证隐私为前提。

除了私有数据的集成和调用,在大模型应用落地的路上,最为底层的支撑,算力,也始终是一个百说不厌的话题。

众所周知,当下的显卡资源异常稀缺,且价格不菲。

譬如有调查就发现,像英伟达的H100,今年4月中旬在海外电商平台就已炒到超4万美元,甚至标价6.5万美元的也不算罕见。

无论是购买还是租用,这都成了全球各企业在探索生成式AI应用上的一大笔支出。

如何让这一笔花销更为经济实惠?这也是每个企业的思虑所在。

值得关注的是,以马逊云科技为代表的领先供应商,正在针对生成式AI落地过程中的这些挑战和痛点提供系统性的解决方案,对上述问题一一破解。

针对个性化数据问题,亚马逊云科技宣布为三款数据服务提供向量引擎,用来助力生成式AI应用与业务整合。

我们知道,在生成式AI爆发之后,向量数据库也实在火爆不已。因为相比传统的关系数据库,它能给予与模型上下文更相关的响应(如下图所示)。

亚马逊云科技这一最新服务,就是将我们的私有数据存储到具有向量引擎的数据库中,在进行生成式AI应用时,通过简单的API调用就能方便地查询企业内部的数据。

而根据当前数据存储位置、对数据库技术的熟悉程度、向量维度的扩展、Embeddings的数量和性能需求等不同需求,亚马逊云科技提供了3个选项来满足:

-Amazon Aurora PostgreSQL兼容版关系型数据库,支持pgvector开源向量相似性搜索插件;

-分布式搜索和分析服务 Amazon OpenSearch,带有k-NN(k最近邻)插件和适用于Amazon OpenSearch Serverless的向量引擎;

-兼容 PostgreSQL的Amazon RDS(Amazon Relational Database Service)关系型数据库,支持pgvector插件。

当然,最值得说道的是这次最新推出的Amazon OpenSearch Serverless服务,它最大的优点就是让企业只关心向量数据的存储和检索,而不用背上任何底层运维的负担。

解决完数据集成问题,在底层支撑上,亚马逊云科技这次也直接推出H100支持的全新Amazon EC2 P5实例,这一曾经对于大多数企业都相当难得的算力资源,现在也变得“唾手可得”了。

据了解,该实例包含8个英伟达H100 Tensor Core GPU,640GB高带宽GPU内存,同时提供第三代AMD EPYC处理器、2TB 系统内存和30TB本地NVMe存储,以及3200Gbps的聚合网络带宽和GPUDirect RDMA支持,可实现更低延迟和高效的横向扩展性能。

相比上一代基于GPU的实例,Amazon EC2 P5可以让训练时间最多可缩短6倍(从几天缩短到几小时),降低高达40%的训练成本。

再加上亚马逊云科技之前基于自研芯片发布的Amazon EC2 Inf2和Amazon EC2 Trn1n等性能也表现不错的实例,我们在算力需求这一问题上,可以说是有了非常多的按需选择空间。

除了以上这些基础支持,各种开箱即用的AI服务也不“缺席”:

如针对开发环节的AI编程助手Amazon CodeWhisperer,现在它与Amazon Glue实现集成,将AI代码生成的场景又扩展到一个新人群:数据工程师,只需自然语言(比如“利用json文件中的内容创建一个Spark DataFrame”),这些开发人员即可搞定各种任务;

再如针对商业智能(BI)的Amazon QuickSight,也能够让业务分析师们使用自然语言执行日常任务,在几秒钟内创建各种数据可视化图表;

还有Amazon HealthScribe,可以用于医疗行业生成临床文档,节省医生时间。

这些工具都是主打让企业专注于核心业务,提高生产效率。

最后,简单总结,我们能够发现:

从今年4月起,亚马逊云科技就结合自身定位并基于真实用户需求出发,正式宣布进军生成式AI市场,为一切想要利用生成式AI技术加速或创新业务的企业提供服务。

在短短的4个月期间,亚马逊云科技已推出了各类底座资源,从基础模型到算力支撑,从私人数据存储到高效开发工具,应用尽有。

而这次在纽约峰会释出的最新动向,则是继续加码生成式AI应用开发所需的一切。

从Amazon EC2 P5实例代表的算力层、到Amazon OpenSearch Serverless向量引擎、Amazon Bedrock Agents代表的工具层、再到Amazon QuickSight等代表的应用层,一项端到端的解决方案已然形成。

在这之中,亚马逊云科技不断降低生成式AI的门槛,无论是初创企业还是传统行业,无论是处于生成式AI进程的哪一层,都能在这里找到合适的工具,无需耗费太多精力在底层逻辑之上,便可快速投入实际业务。

如亚马逊云科技数据库、数据分析和机器学习全球副总裁Swami Sivasubramanian所说:

“我相信生成式AI将改变每一个应用程序、行业和企业。”
事实上,随着AI模型大战的不断升级,也让生成式 AI进入聚光灯下。一批在AI领域有所积累的企业也在探索适合自己的应用方向,试图从这场前所未有的变革中,找到自己的新机会。

而亚马逊云科技的众多服务,无疑为企业降低开发成本、加速商业化落地赢得了更多的发展空间

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/90117.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

亿发连锁商超新零售解决方案提供商,提供定制新零售管理系统

时代的发展带动了经济环境的变化,为迎合市场经济的发展需求,数字化收银逐渐融入到大中生活中,中小型商铺都倾向于使用智慧收银系统取代传统收银模式。新零售系统成为了商家在竞争激烈的市场中立足的关键。但随之也带来了数不尽的竞争压力&…

linux缓存-利用缓存提高性能的编程技巧

目录 利用缓存提高性能的编程技巧 实现方式 利用缓存提高性能的编程技巧 利用GCC编译器对齐属性 __attribute__((__aligned__(n))),利用处理器的缓存提高程序的执行速度; 使变量的起始地址对齐到一级缓存行长度的整数倍;使结构体对齐到一级缓存行长度…

游戏遇到的问题

天涯明月刀 就是天刀的假全屏,很多天刀玩家可能玩其他游戏比较少或者对电脑了解不多,不在意帧数,但是肯定还是有一部分玩家发现了这个问题,就是“我使命召唤12都能跑到60帧的机器跑个破天刀40帧甚至30帧?”问题何在呢&#xff1…

提升群辉AudioStation音乐体验,实现公网音乐播放

文章目录 本教程解决的问题是:按照本教程方法操作后,达到的效果是本教程使用环境:1 群晖系统安装audiostation套件2 下载移动端app3 内网穿透,映射至公网 很多老铁想在上班路上听点喜欢的歌或者相声解解闷儿,于是打开手…

SpringBoot之视图解析

文章目录 前言一、视图解析1.视图解析原理流程 二、模板引擎——Thymeleaf基本语法表达式字面量文本操作数学运算布尔运算比较运算条件运算特殊操作设置属性值-th:attr迭代条件运算属性优先级 提取公共页面th:insertth:replace区别 总结 前言 SpringBoot默认不支持 JSP&#x…

nodejs进阶知识

文章目录 写在前面一、dependencies、devDependencies和peerDependencies区别:二、需要牢记的npm命令2.1 npm2.2 npm config list2.3 npm配置镜像源 三、npm install 的原理四、package-lock.json的作用五、npm run 的原理六、npx6.1 npx是什么6.2 npx的优势6.3 npm…

Windows上安装 Go 环境

一、下载go环境 下载go环境:Go下载官网链接找到自己想下载的版本,点击下载,比如我这是windows64位的,我就直接点击最新的。 二、安装go环境 双击下载的.msi文件 next next 他默认的是c盘,你自己可以改,然…

解决Spring Boot 2.7.16 在服务器显示启动成功无法访问问题:从本地到服务器的部署坑

🌷🍁 博主猫头虎 带您 Go to New World.✨🍁 🦄 博客首页——猫头虎的博客🎐 🐳《面试题大全专栏》 文章图文并茂🦕生动形象🦖简单易学!欢迎大家来踩踩~🌺 &a…

二、C++项目:仿muduo库实现并发服务器之时间轮的设计

文章目录 一、为什么要设计时间轮?(一)简单的秒级定时任务实现:(二)Linux提供给我们的定时器:1.原型2.例子 二、时间轮(一)思想(一)代码 一、为什…

web:[极客大挑战 2019]Havefun

题目 点进页面,页面显示是一只猫,没有其他的提示信息 查看网页源代码,划到最后 这段php代码包含了通过get方式的提交信息 构造payload: http://aaf4c4b5-7bf2-404f-8bf5-f6e97d830b72.node4.buuoj.cn:81/?catdog 即得到flag f…

2023软工作业(一)——计算器

班级班级社区作业要求软件工程实践第一次作业-CSDN社区作业目标完成一个具有可视化界面的科学计算器参考文献Fyne 目录 作业要求 项目源码地址 作业目标 0. 界面及功能展示 1. PSP表格 2. 解题思路描述 3. 核心代码 4. 设计与实现过程 5. 程序性能改进 6. 单元测试展…

Fiddler 抓包八个实用技巧

大家对Fiddler应该不会陌生,但里面有些技巧不见得都会,这里就有八个实用技巧,通过对Fiddler的定制,能提高大家的测试效率。 fiddler抓包教程:一节课教你fiddler抓包在测试领域的四大实战,你一定要学_哔哩哔…

vue event bus 事件总线

vue event bus 事件总线 创建 工程: H:\java_work\java_springboot\vue_study ctrl按住不放 右键 悬着 powershell H:\java_work\java_springboot\js_study\Vue2_3入门到实战-配套资料\01-随堂代码素材\day04\准备代码\08-事件总线-扩展 vue --version vue crea…

freertos动态和静态任务创建的区别

//静态创建。 //任务优先级 #define START_TASK_PRIO 1 //任务堆栈大小 #define START_STK_SIZE 128 //任务堆栈 StackType_t StartTaskStack[START_STK_SIZE]; //任务控制块 StaticTask_t StartTaskTCB; //任务句柄 TaskHandle_t StartTask_Handler;…

微信多账号聊天、多账号管理,轻松拿捏

你是否微信账号太多,很难管理; 是否很难触达精准客户; 是否人力成本不断上升, 公司迫切需要提高工作效率,降低成本。 ...... 针对多个痛点问题, 微信管理系统进行了有针对性的开发和定位。 多账号聚合…

【计算机网络黑皮书】入门必学的基本网络知识

【事先声明】 这是对于中科大的计算机网络的网课的学习笔记,感谢郑烇老师的无偿分享 书籍是《计算机网络(自顶向下方法 第7版)》 需要的可以私信我,无偿分享,课程简介下也有 B站链接 目录 网络核心电路交换端到端之间的…

LeetCode【2251. 花期内花的数目】

给你一个下标从 0 开始的二维整数数组 flowers ,其中 flowers[i] [starti, endi] 表示第 i 朵花的 花期 从 starti 到 endi (都 包含)。同时给你一个下标从 0 开始大小为 n 的整数数组 people ,people[i] 是第 i 个人来看花的时间…

Grom 如何解决 SQL 注入问题

什么是 SQL 注入 SQL 注入是一种常见的数据库攻击手段, SQL 注入漏洞也是网络世界中最普遍的漏洞之一。 SQL 注入就是恶意用户通过在表单中填写包含 SQL 关键字的数据来使数据库执行非常规代码的过程。 这个问题的来源就是, SQL 数据库的操作是通过 SQ…

【Unity ShaderLab 还原嗜血边缘角色渲染效果_“Niohoggr“_角色渲染(第一篇)】

还原嗜血边缘角色着色效果 《嗜血边缘》截取其中的片段如下:资源分析其中Guitar贴图4张模型:人物细节图:人物模型 Inspector面板这里做一个区域区分:Body贴图1_BCBody贴图2_NBody贴图3_CMBody贴图4_SRMBody贴图4_RGB,分别在模型中显示的区域Reflection Probe《嗜血边缘》 设…

Spring工具类--ReflectUtils的使用

原文网址:Spring工具类系列--ReflectUtils的使用_IT利刃出鞘的博客-CSDN博客 简介 本文介绍Spring的ReflectUtils的使用。 ReflectUtils工具类的作用:便利地进行反射操作。 Spring还有一个工具类:ReflectionUtils,它们在功能上…