本文整理自百度世界大会 2024——「智能跃迁 产业加速」论坛的同名演讲。
更多大会演讲内容,请访问:
https://baiduworld.baidu.com
首先,跟大家分享一张图,这个是我们目前大模型应用落地的场景分布。可以看到,大模型广泛渗透到各行各业,场景越来越丰富。
24 年 9 月份,我们发布了百度智能云千帆大模型平台 3.0。包括:模型开发层、模型服务层、应用开发层。提供了最专业的应用开发工具、最丰富的大模型、最全面的工具链。
在企业大模型落地的过程中,要解决很多的问题。最常见的有如何选择模型、如何构建 AI 原生应用、如何优化模型使用效果。我们给大家总结出了 3 大应用落地路径:
- 模型推理;
- 模型应用效果优化(包括提示词优化、模型精调、模型能力增强);
- 大模型应用开发。
首先,讲模型推理。
在模型选择的过程中,我们发现 3 个趋势:
- 越来越追求效价比,效果更好兼顾成本更低;
- 根据不同需求,进行大小模型协同;
- 多模态模式协同工作;
百度智能云千帆大模型平台提供丰富的模型选择,有不同尺寸的大模型、精专垂类模型、以及传统多模态能力等。
第二个路径,模型应用效果优化,分为 3 个手段。最常见的就是提示词优化,包含 Prompt 和 Few-shot 两种方式。
举个例子,法律咨询场景,我给大模型一个指令「你是一个律师,请问经济合同纠纷案的解决流程是什么?」。可以看到大模型给出了一个基础的解决流程的答案。
要上生产环境用大模型代替律师工作,最简单就是通过提示词调优。
可以明显看到,右边增加了人设、风格、指令约束。输出结果更像真人律师,这就是提示词优化的作用。
提示词优化看似容易,其实没有那么简单,有很多的原则来适应模型和应用的需求。
为了进一步降低客户使用门槛,我们今天发布 Prompt 模板。用户可以一键复制,只要稍作改写,大模型的输出效果就会更好。
提示词优化有效果天花板。
如果想进一步提升应用场景下模型能力,第二招对模型进行模型训练,也就是我们经常说的模型精调。精调可以使模型风格、行为和应用需求对齐,有效提升模型效果。
千帆 ModelBuilder 提供的就是全流程的、模型训练和模型精调的工具链,包含:数据管理、训练模式、开发工具、评估优化、推理部署、大模型周边系统。
举个例子,宁波传媒使用千帆 ModelBuilder 模型精调工具,打造了一个小记者作文 AI 点评助手。通过视频来看下开发过程和应用效果。
今天,基于我们平台越来越多的场景实践,沉淀了一系列的模型精调样板间,进一步降低模型调优门槛。
企业只需要跟随样板间的步骤,一步一步设置模型训练的参数,就可以训练出符合企业需求的场景化模型。
我们在千帆 ModelBuilder 工具链不断迭代的过程中,又给大家提供了一个新的方法——模型蒸馏。
通过调用旗舰大模型产生的问答对,经过筛选得到有效的训练数据。在降低数据标注成本的同时,通过精调得到成本更低、耗时更优、效果趋近旗舰模型的轻量级大模型。
举个例子,百度电商数字人直播,通过模型蒸馏后,相比旗舰级模型效果能达到 90%,同时达到旗舰级 6 倍的速度,10% 的成本;更好的适应我们场景应用在效果、性能和成本之间的平衡。
客户在使用面临一个问题:模型刚上线符合预期,过了一段时间模型应用效果下降。
为什么下降?——用户请求 query 结构会发生改变。
怎么办?——持续调优。通过千帆 ModelBuilder 提供的工具链,帮企业建立自己的数据飞轮,根据用户反馈,持续迭代模型,让模型越用越聪明。
大模型应用效果优化第三招:模型能力增强。即给模型增加外部能力,比如检索增强能力和工具能力。
这个例子,是北京大学通过千帆 AppBuilder 的企业级 RAG 能力,打造了一个智能 AI 校园助手「小北学长」。
可以看到,这个校园助手的创建,就是外挂了北京大学独有的 30 万+ 知识文件,满足校园内特定场景的知识问答,回答准确率高达 95% 以上。
今天,千帆 AppBuilder 除了提供企业级 RAG 能力,还有企业级 Agent、企业级部署、企业级集成,共 4 大企业级能力。
大家知道 Agent 具备自主思考、自主编排、记忆、反思等能力,能够自主的做任务规划,一定程度上为企业降本增效。
但也有一些场景,需要严格按照企业的 SOP,也就是设定好的工作流来进行任务执行,就是我们今天全新发布的工作流 Agent 能力。
下面我们来看个例子:通过工作流 Agent,模拟航空公司客服人员,做机票退改签。
通过工作流 Agent,可实现流程高可控、低代码灵活编排、全局知识兜底、丝滑话题切换。
构建智能体应用,逐渐变成一个统一范式。
为了进一步降低应用开发门槛,我将带来今天的第三个发布:大模型应用样板间。
这些应用样板间,覆盖高达 100 多个场景。通过模板,一键复制到自己的工作台,稍作改写,就可以落地成企业自己的应用。
除了智能体作为应用载体之外,还有非常多的企业级传统应用,过去是通过写代码的方式开发,今天我们通过大模型也实现了零代码分钟级开发,它就是 AI 速搭平台。
继 9 月份云智大会发布之后,今天又有了全面的能力升级,实现了移动端的适配。
这个示例,是通过 AI 速搭一句话生成图书管理系统。
今天我的发布到此结束,非常希望通过千帆平台,以及我们的一系列样板间,持续为大家提供最低门槛、最高效易用的大模型落地工具,加速企业落地的最后一公里。
希望大家使用千帆,一起来构建更多的企业级 AI 原生应用。
应用已来,千帆助航。百度智能云千帆大模型平台愿在大模型的浪潮里,与企业一道乘风破浪,引领航向。