简洁的链式思维(CCoT)提示

原文地址:Concise Chain-of-Thought (CCoT) Prompting

传统的CoT导致了输出令牌使用的增加,而CCoT提示是一种旨在减少LLM响应的冗长性和推理时间的提示工程技术。

2024 年 1 月 24 日

Areas where Chain-Of-Thought-like methodology has been introduced are:

  • Chain-of-Thought Prompting
  • Multi-Modal Reasoning
  • Multi-Lingual Scenarios
  • Knowledge Driven Applications
  • Chain-of-Explanation
  • Chain-of-Knowledge
  • Chain-of- Verification
  • IR Chain-of-Thought
  • LLM Guided Tree Of Thought
  • Chain-Of-Note
  • Least-To-Most Prompting
  • Chain Of Empathy

CoT

CoT 提示的基本前提是反映人类解决问题的方法,即我们人类将较大的问题分解为较小的步骤。然后,LLM会集中注意力解决每个子问题,从而减少忽视关键细节或做出错误假设的可能性。为了使CoT提示在语言模型中发挥作用,必须确保提示与用户的查询紧密相关,并且推理的步骤要按照正确的逻辑顺序进行排列。

CoT组成部分

桥接是指模型遍历以得出最终结论的符号项。桥接可以由算术任务中的数字和方程组成,也可以由实际任务中的实体名称组成

语言模板是文本提示,指导语言模型在推理过程中导出正确的桥接对象并将其置于上下文中。

连贯性是指基本原理中步骤的正确顺序,对于成功的思想链是必要的。具体来说,由于思维链是一个顺序推理过程,因此后面的步骤不可能成为前面步骤的先决条件。

相关性是指理由是否包含问题中的相应信息。例如,如果问题提到一个名叫利亚的人在吃巧克力,那么讨论另一个人剪头发就无关紧要了。

CoT 提示的吸引力在于它简单、易于检查,并且不像基于梯度的方法那样不透明。然而,正如随后的 Chain-Of-X 方法所示:

  1. 情境学习需要在推理时将高度情境化的信息注入到提示中。
  2. 通过人工注释的数据,以数据为中心的方法变得越来越重要。使用正确的数据需要数据发现、数据设计、数据开发和数据交付。
  3. 随着灵活性的引入,复杂性也随之增加。
  4. 人类观察和检查对于确保系统完整性将变得越来越重要。
  5. 必须引入管理提示​​注入和多重推理架构的更复杂的框架。

CoT明确鼓励LLM为解决问题生成中间推理。这是通过为LLM提供一系列演示中的推理步骤来实现的。CoT提示可以将LLM的性能提高多达80%,对于某些问题任务和问题领域。然而,这些性能提升是以实际成本为代价的,增加了输出令牌使用的费用。此外,推理时间也延长了。

CCoT简介

基于大型语言模型(LLM)的生成式人工智能应用需要通过多管齐下的方法进行优化。这种方法需要考虑提示结构、数据传递、令牌使用和推理延迟。与LLM编排相结合;为最佳任务使用最佳模型。以及以数据为中心的方法进行数据发现、设计和开发。

最近的一项研究引入了一种新的提示技术,称为简洁的链式思维(CCoT)。在这项研究中,标准的CoT与CCoT提示在响应长度和准确性方面进行了比较。对于多项选择题问答,CCoT将响应长度减少了48.70%。因此,CCoT在输出令牌成本上引入了节省,并提供了更浓缩的答案。研究还发现,解决问题性能在CoT和CCoT两种方法之间保持不变。对于数学问题,CCoT的性能惩罚为27.69%。总体而言,CCoT导致平均令牌成本降低了22.67%。

其他CCoT信息

成本与延迟

如果CCoT减少了响应长度,那么CCoT可以用来降低LLM成本。第三方LLM API通常按令牌定价,输出令牌比输入令牌更昂贵。

如下图所示,红色条形图表示输出令牌成本,与蓝色条形图的输入令牌成本相比较。


推理延迟也是一个挑战,可以通过确保响应更短来在一定程度上解决。这可以在不降低性能的情况下实现;研究发现,CCoT在这方面没有性能惩罚。

实际比较

下面是一个仅答案提示的示例,接着是一个传统的冗长CoT提示。最后是一个CCoT提示。

下面是一个仅答案提示的示例。

这里比较了冗长和简洁的CoT提示。


可能的局限性

  • 研究只使用了GPT LLM,看看在开源和功能较弱的LLM上的表现会很有趣。
  • 研究只使用了一个CoT和CCoT提示。因此,其他变体的CoT和CCoT提示可能会产生不同的结果。
  • 考虑到不同任务提示性能的变异,考虑到实施用户意向分流可能效果很好。
  • 并对用户输入进行分类,以便使用编排多个LLM,选择最合适的提示技术等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/732928.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

猫头虎分享已解决Bug || 批处理错误:BatchJobFailure, ProcessingDelay

博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能! 专栏链接: 🔗 精选专栏: 《面试题大全》 — 面试准备的宝典!《IDEA开发秘籍》 — 提升你的IDEA技能!《100天精通鸿蒙》 …

深入理解神经网络

图片怎么被识别的过程 (每层神经网络是数组,会对进来的数据进行加权求和[(weight*数据 然后累加) bias])(激活函数是为了训练weight和bias偏移值,在每个神经网络)(分类器会统计概率分类) 2. 引用链接 https://mp.weixin.qq.com/s?__bizMzIyNjMxOTY0NA&mid2247500124&…

RocketMQ-存储与弹性伸缩

存储与弹性伸缩 一、介绍二、存储架构图1.CommitLog2.ConsumeQueue3.IndexFile 三、消息读写流程1.写入流程1.1 获取Topic元数据1.2 消息投递1.3 消息写入 2.读取流程2.1 获取Topic元数据2.2 消息拉取2.3 消息消费 四、消息持久化1.页缓存2.刷盘2.1 同步刷盘2.2 异步刷盘 五、集…

【python】异常处理

前言 省略各种废话,直接快速整理知识点 try-except 基础 作用 程序不可能永远都是对的,当7除a,a由用户输入时,用户输入0就会报错。try-except就是解决这些问题。 结构 多分支自定义错误类型 上方的exception是一个错误类型…

基于Kronig-Penney能带模型的MATLAB求解与仿真

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.本算法原理 5.完整程序 1.程序功能描述 基于Kronig-Penney能带模型的MATLAB求解与仿真.综合利用 MATLAB提供的求解常微分方程、矩阵行列式、代数表达式化简及绘图等函数 ,可使 Kronig-Penney能带模型分析…

c语言,大宗撮合交易中心系统核心模块代码

撮合交易系统(Matching System)常用于大宗交易,如股票、期货等市场,它负责根据买卖双方的报价和数量,自动撮合成交。撮合系统的核心模块通常包括订单管理、价格计算和撮合逻辑等部分。 由于撮合系统的实现复杂且依赖于…

R语言更新版本

目录 一、更新R语言 1、安装最新的R语言版本 2、移动之前安装的packages 3、将Rstudio连接到最新的R语言 二、Rstudio更新 一、更新R语言 1、安装最新的R语言版本 查看当前R语言版本: R.version.string 下载最新的R语言安装包:R: The R Project…

详解数据库、Hive以及Hadoop之间的关系

1.数据库: 数据库是一个用于存储和管理数据的系统。数据库管理系统(DBMS)是用于管理数据库的软件。数据库使用表和字段的结构来组织和存储数据。关系型数据库是最常见的数据库类型,使用SQL(Structured Query Language…

文献阅读:DEA-Net:基于细节增强卷积和内容引导注意的单图像去雾

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 摘要Abstract文献阅读:DEA-Net:基于细节增强卷积和内容引导注意的单图像去雾1、研究背景2、方法提出3、相关知识3.1、DEConv3.3、多重卷积的…

C#快速入门基础

本篇文章从最基础的C#编程开始学习,经过非常优秀的面向对象编程思想和方法的学习,为C#编程打下基础。 第 01 章 C#开发环境之VS使用和.NET平台基础 1.1 Visual Studio 开发环境 1.1.1 硬件环境 i5CPUi5CPU(建议 4核 4线程或以上 &#xff0…

第五十四回 高太尉大兴三路兵 呼延灼摆布连环马-AI通过构建并训练CNN网络来进行飞机识别

呼延灼举荐了百胜将韩滔和天目将彭玘做先锋。 两军对战,韩滔和秦明斗二十回合,呼延灼与林冲斗在一起,花荣与彭玘斗在一处,后彭玘与一丈青扈三娘斗在一起,被扈三娘抓住。 尽管梁山占优,宋江也没有乘胜追击&…

this.$set,更新vue视图

this.$set(this.searchForm, age, 30) // 对象 this.$set(this.searchForm1, 0, { name: 汪汪, age: 11, content: 擅长口算 })// 数组

帮管客CRM jiliyu接口存在SQL漏洞 附POC软件

免责声明:请勿利用文章内的相关技术从事非法测试,由于传播、利用此文所提供的信息或者工具而造成的任何直接或者间接的后果及损失,均由使用者本人负责,所产生的一切不良后果与文章作者无关。该文章仅供学习用途使用。 1. 帮管客CRM简介 微信公众号搜索:南风漏洞复现文库…

如何配置IDEA中的JavaWeb环境(2023最新版)

创建项目 中文版:【文件】-【新建】-【项目】 点击【新建项目】,改好【名称】点击【创建】 右键自己建立的项目-【添加框架支持】(英文版是Add Framework Support...) 勾选【Web应用程序】-【确定】 配置tomcat 点击编辑配置 点…

人民网发稿多少钱?媒介多多告诉你答案!附人民网各频道报价表

你是否也想知道在人民网发稿需要多少钱?媒介多多告诉你答案!人民网是国内权威新闻平台之一,拥有大量忠实读者群体。想要在人民网上发稿进行推广,是很多企业和个人的选择。那么,人民网发稿到底需要多少钱呢?…

云计算,用价格让利换创新空间?

文 | 智能相对论 作者 | 李源 ECS(云服务器)最高降36%、OSS(对象存储)最高降55%、RDS(云数据库)最高降40%…… 阿里云惊人的降幅,一次性把国内云计算厂商的价格战推到了白热化阶段。 这次能…

魔众智能AI系统v2.1.0版本支持主流大模型(讯飞星火、文心一言、通义千问、腾讯混元、Azure、MiniMax、Gemini)

支持主流大模型(讯飞星火、文心一言、通义千问、腾讯混元、Azure、MiniMax、Gemini) [新功能] 系统全局消息提示 UI 全新优化 [新功能] JS 库增加【ijs】类型字符串,支持默认可执行代码 [新功能] 分类快捷操作工具类 CategoryUtil [新功能…

接口自动化测试从入门到高级实战!

接口测试背景和必要性 接口测试是测试系统组件间接口(API)的一种测试,主要用于检测内部与外部系统、内部子系统之间的交互质量,其测试重点是检查数据交换、传递的准确性,控制和交互管理过程,以及系统间相互…

鸿蒙开发(二)-项目结构

鸿蒙开发(二)-项目结构 上篇文章我们讲了如何配置鸿蒙开发的基础环境,以及创建了第一个鸿蒙程序。 这篇我们讲述了鸿蒙应用的项目目录结构。 如图所示:我们切换项目project可以看到。 另一种则是Ohos模式: AppScope->app.json5 应用的全局配置 {&q…