百度智能云千帆大模型平台引领企业创新增长

本文整理自百度世界大会 2024——「智能跃迁 产业加速」论坛的同名演讲。

更多大会演讲内容,请访问:

https://baiduworld.baidu.com


首先,跟大家分享一张图,这个是我们目前大模型应用落地的场景分布。可以看到,大模型广泛渗透到各行各业,场景越来越丰富。

图片

24 年 9 月份,我们发布了百度智能云千帆大模型平台 3.0。包括:模型开发层、模型服务层、应用开发层。提供了最专业的应用开发工具、最丰富的大模型、最全面的工具链。

图片

在企业大模型落地的过程中,要解决很多的问题。最常见的有如何选择模型、如何构建 AI 原生应用、如何优化模型使用效果。我们给大家总结出了 3 大应用落地路径:

  • 模型推理;
  • 模型应用效果优化(包括提示词优化、模型精调、模型能力增强);
  • 大模型应用开发。

图片

首先,讲模型推理。

在模型选择的过程中,我们发现 3 个趋势:

  • 越来越追求效价比,效果更好兼顾成本更低;
  • 根据不同需求,进行大小模型协同;
  • 多模态模式协同工作;

百度智能云千帆大模型平台提供丰富的模型选择,有不同尺寸的大模型、精专垂类模型、以及传统多模态能力等。

图片

第二个路径,模型应用效果优化,分为 3 个手段。最常见的就是提示词优化,包含 Prompt 和 Few-shot 两种方式。

图片

举个例子,法律咨询场景,我给大模型一个指令「你是一个律师,请问经济合同纠纷案的解决流程是什么?」。可以看到大模型给出了一个基础的解决流程的答案。

要上生产环境用大模型代替律师工作,最简单就是通过提示词调优。

可以明显看到,右边增加了人设、风格、指令约束。输出结果更像真人律师,这就是提示词优化的作用。

图片

提示词优化看似容易,其实没有那么简单,有很多的原则来适应模型和应用的需求。

为了进一步降低客户使用门槛,我们今天发布 Prompt 模板。用户可以一键复制,只要稍作改写,大模型的输出效果就会更好。

图片

 

提示词优化有效果天花板。

如果想进一步提升应用场景下模型能力,第二招对模型进行模型训练,也就是我们经常说的模型精调。精调可以使模型风格、行为和应用需求对齐,有效提升模型效果。

图片

千帆 ModelBuilder 提供的就是全流程的、模型训练和模型精调的工具链,包含:数据管理、训练模式、开发工具、评估优化、推理部署、大模型周边系统。

图片

举个例子,宁波传媒使用千帆 ModelBuilder 模型精调工具,打造了一个小记者作文 AI 点评助手。通过视频来看下开发过程和应用效果。

图片

今天,基于我们平台越来越多的场景实践,沉淀了一系列的模型精调样板间,进一步降低模型调优门槛。

企业只需要跟随样板间的步骤,一步一步设置模型训练的参数,就可以训练出符合企业需求的场景化模型。

图片

我们在千帆 ModelBuilder 工具链不断迭代的过程中,又给大家提供了一个新的方法——模型蒸馏。

通过调用旗舰大模型产生的问答对,经过筛选得到有效的训练数据。在降低数据标注成本的同时,通过精调得到成本更低、耗时更优、效果趋近旗舰模型的轻量级大模型。

举个例子,百度电商数字人直播,通过模型蒸馏后,相比旗舰级模型效果能达到 90%,同时达到旗舰级 6 倍的速度,10% 的成本;更好的适应我们场景应用在效果、性能和成本之间的平衡。

图片

客户在使用面临一个问题:模型刚上线符合预期,过了一段时间模型应用效果下降。

为什么下降?——用户请求 query 结构会发生改变。

怎么办?——持续调优。通过千帆 ModelBuilder 提供的工具链,帮企业建立自己的数据飞轮,根据用户反馈,持续迭代模型,让模型越用越聪明。

图片

大模型应用效果优化第三招:模型能力增强。即给模型增加外部能力,比如检索增强能力和工具能力。

图片

这个例子,是北京大学通过千帆 AppBuilder 的企业级 RAG 能力,打造了一个智能 AI 校园助手「小北学长」。

可以看到,这个校园助手的创建,就是外挂了北京大学独有的 30 万+ 知识文件,满足校园内特定场景的知识问答,回答准确率高达 95% 以上。

图片

今天,千帆 AppBuilder 除了提供企业级 RAG 能力,还有企业级 Agent、企业级部署、企业级集成,共 4 大企业级能力。

图片

大家知道 Agent 具备自主思考、自主编排、记忆、反思等能力,能够自主的做任务规划,一定程度上为企业降本增效。

但也有一些场景,需要严格按照企业的 SOP,也就是设定好的工作流来进行任务执行,就是我们今天全新发布的工作流 Agent 能力。

下面我们来看个例子:通过工作流 Agent,模拟航空公司客服人员,做机票退改签。

通过工作流 Agent,可实现流程高可控、低代码灵活编排、全局知识兜底、丝滑话题切换。

图片

构建智能体应用,逐渐变成一个统一范式。

为了进一步降低应用开发门槛,我将带来今天的第三个发布:大模型应用样板间。

这些应用样板间,覆盖高达 100 多个场景。通过模板,一键复制到自己的工作台,稍作改写,就可以落地成企业自己的应用。

图片

除了智能体作为应用载体之外,还有非常多的企业级传统应用,过去是通过写代码的方式开发,今天我们通过大模型也实现了零代码分钟级开发,它就是 AI 速搭平台。

继 9 月份云智大会发布之后,今天又有了全面的能力升级,实现了移动端的适配。

图片

这个示例,是通过 AI 速搭一句话生成图书管理系统。

图片

今天我的发布到此结束,非常希望通过千帆平台,以及我们的一系列样板间,持续为大家提供最低门槛、最高效易用的大模型落地工具,加速企业落地的最后一公里。

希望大家使用千帆,一起来构建更多的企业级 AI 原生应用。

图片

应用已来,千帆助航。百度智能云千帆大模型平台愿在大模型的浪潮里,与企业一道乘风破浪,引领航向。

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/61365.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

记录java Collections.sort踩的坑

前言 java Collections.sort 排序失效?为什么会排序失效呢? 需求和问题 需求:获取指定文件夹下的所有文件,并且按照修改时间顺序从大到小排序,如果修改时间相同,则按照创建时间从大到小排序 // 输入lis…

【企业级分布式系统】ELK优化

文章目录 Elasticsearch作为日志存储时的优化优化ES索引设置优化线程池配置锁定内存,不让JVM使用Swap减少分片数、副本数 Elasticsearch作为日志存储时的优化 linux内核优化、JVM优化、ES配置优化、架构优化(filebeat/fluentd代替logstash、加入kafka做…

【Flutter 问题系列第 84 篇】如何清除指定网络图片的缓存

这是【Flutter 问题系列第 84 篇】,如果觉得有用的话,欢迎关注专栏。 博文当前所用 Flutter SDK:3.24.3、Dart SDK:3.5.3,网络图片缓存用的插件 cached_network_image: 3.4.1,缓存的网络图像的存储和检索用…

亚马逊商品详情API接口解析,Json数据示例返回

亚马逊的商品详情API接口(如Amazon Product Advertising API)允许开发者获取商品的详细信息,包括价格、描述、图片URL等。以下是一个示例的JSON数据返回结构,以及相应的解析说明。请注意,实际返回的数据结构可能会根据…

SIMCom芯讯通A7680C在线升级:FTP升级成功;http升级腾讯云对象储存的文件失败;http升级私有服务器的文件成功

从事嵌入式单片机的工作算是符合我个人兴趣爱好的,当面对一个新的芯片我即想把芯片尽快搞懂完成项目赚钱,也想着能够把自己遇到的坑和注意事项记录下来,即方便自己后面查阅也可以分享给大家,这是一种冲动,但是这个或许并不是原厂希望的,尽管这样有可能会牺牲一些时间也有哪天原…

uniapp实现中英文切换

home.js const data {ZH: {content1: "苹果",},EN: {content1: “Apple”,} } export default dataindex.js import home from "./home.js" export default {home }en.js import part1 from ./data/part1/index.js const en {language: {name: "…

Android Studio 控制台输出的中文显示乱码

1. Android Studio 控制台输出的中文显示乱码 1.1. 问题 安卓在调试阶段,需要查看app运行时的输出信息、出错提示信息。乱码,会极大的阻碍开发者前进的信心,不能及时的根据提示信息定位问题,因此我们需要查看没有乱码的打印信息。…

活着就好20241120

今天是20号,周三,亲爱的朋友们,大家早上好!在连续两天的努力之后,我们迎来了这个同样充满希望与挑战的周三早晨。让我们带着前两天的收获与经验,怀揣着新的目标和梦想,继续在这丰富多彩的一天中…

基于yolov8、yolov5的行人检测识别系统(含UI界面、训练好的模型、Python代码、数据集)

摘要:行人检测在交通管理、智能监控和公共安全中起着至关重要的作用,不仅能帮助相关部门实时监控人群动态,还为自动化监控系统提供了可靠的数据支撑。本文介绍了一款基于YOLOv8、YOLOv5等深度学习框架的行人检测模型,该模型使用了…

Java安全—log4j日志FastJson序列化JNDI注入

前言 log4j和fastjson都是这几年比较火的组件,前者是用于日志输出后者则是用于数据转换,今天我们从源码来说一下这两个组件为何会造成漏洞。 实验环境 这里的idea要进行一下配置,因为我们要引用第三方组件,而这些第三方组件都是…

【白话机器学习系列】白话 Softmax

文章目录 什么是 SoftmaxSoftmax 函数详解示例编程实现对矩阵应用 Softmax 函数 什么是 Softmax Softmax 函数,又称归一化指数函数,它使用指数函数将输入向量归一化为概率分布(每一个元素的范围都在 ( 0 , 1 ) (0,1) (0,1) 之间,…

golang通用后台管理系统10(退出登录,注销token)

1.实现思路:将登录用户的token加入黑名单 2. //1.2 用户退出 exploreRouter.POST("/logout", sysCtrl.Logout) 3.loginController.go //用户退出 func Logout(c *gin.Context) {logger : commonLog.InitLogger()sysUser : service.GetProfile1(c)fmt.…

uniapp 页面跳转及页面返回传值

跳转传值: 传值页面A const data {name:0Math.random() * 100}; // 跳转页面方法 uni.navigateTo({//url: /pages/patrol/patrol?dataencodeURIComponent(JSON.stringify(data)),// 有值url: /pages/patrol/patrol?dataencodeURIComponent(JSON.stringify(null)…

C++系列之继承

💗 💗 博客:小怡同学 💗 💗 个人简介:编程小萌新 💗 💗 如果博客对大家有用的话,请点赞关注再收藏 🌞 继承的概念 继承机制是面向对象程序设计使代码可以复用的最重要的手段&#xf…

Swift从0开始学习 对象和类 day3

类(Class) 是一种类型或模板,描述了对象的特征和行为。对象(Object) 是类的实例,实际的实体,拥有自己的数据。 新入门的教学都喜欢用“人”来举例为类,在这里我也用“人”吧 //&…

【算法设计与分析实训】第1关:求序列的最大字段和

务描述 本关任务:编写用动态规划解决最大字段和问题。 相关知识 为了完成本关任务,你需要掌握:动态规划。 编程要求 给定由n个整数(可能为负数)组成的序列:a1,a2,……,an, 求该序列的最大子段和。当所有整…

Android开发实战班 - 第一部分:Android开发基础

本课程旨在帮助学员系统掌握Android开发的基础知识与技能,为后续深入学习与实战开发打下坚实基础。本部分课程将涵盖开发环境搭建、Kotlin语言基础、Android项目结构、Gradle构建系统、Activity生命周期以及UI布局基础等内容。内容比较基础,就系统的幸的…

高防服务器实现防御的方式,高防服务器的优势

高防服务器通过多种防御机制来实现对网络攻击的防护,确保服务器的稳定性和数据的安全性。 高防服务器实现防御的方式 - 硬件配置:高防服务器通常配备高性能的硬件,包括专业的硬件防火墙,以应对大流量攻击。 - 带宽资源&#xff1a…

一、Nginx反向代理(七层代理)二、Nginx的TCP/UDP调度器(四层代理)

一、Nginx反向代理(七层代理) 实验要求 使用Nginx实现Web反向代理功能,实现如下功能: 后端Web服务器两台,可以使用httpd实现Nginx采用轮询的方式调用后端Web服务器两台Web服务器的权重要求设置为不同的值最大失败次数为…

【微软:多模态基础模型】(5)多模态大模型:通过LLM训练

欢迎关注[【youcans的AGI学习笔记】](https://blog.csdn.net/youcans/category_12244543.html)原创作品 【微软:多模态基础模型】(1)从专家到通用助手 【微软:多模态基础模型】(2)视觉理解 【微…