简洁的链式思维(CCoT)提示

原文地址:Concise Chain-of-Thought (CCoT) Prompting

传统的CoT导致了输出令牌使用的增加,而CCoT提示是一种旨在减少LLM响应的冗长性和推理时间的提示工程技术。

2024 年 1 月 24 日

Areas where Chain-Of-Thought-like methodology has been introduced are:

  • Chain-of-Thought Prompting
  • Multi-Modal Reasoning
  • Multi-Lingual Scenarios
  • Knowledge Driven Applications
  • Chain-of-Explanation
  • Chain-of-Knowledge
  • Chain-of- Verification
  • IR Chain-of-Thought
  • LLM Guided Tree Of Thought
  • Chain-Of-Note
  • Least-To-Most Prompting
  • Chain Of Empathy

CoT

CoT 提示的基本前提是反映人类解决问题的方法,即我们人类将较大的问题分解为较小的步骤。然后,LLM会集中注意力解决每个子问题,从而减少忽视关键细节或做出错误假设的可能性。为了使CoT提示在语言模型中发挥作用,必须确保提示与用户的查询紧密相关,并且推理的步骤要按照正确的逻辑顺序进行排列。

CoT组成部分

桥接是指模型遍历以得出最终结论的符号项。桥接可以由算术任务中的数字和方程组成,也可以由实际任务中的实体名称组成

语言模板是文本提示,指导语言模型在推理过程中导出正确的桥接对象并将其置于上下文中。

连贯性是指基本原理中步骤的正确顺序,对于成功的思想链是必要的。具体来说,由于思维链是一个顺序推理过程,因此后面的步骤不可能成为前面步骤的先决条件。

相关性是指理由是否包含问题中的相应信息。例如,如果问题提到一个名叫利亚的人在吃巧克力,那么讨论另一个人剪头发就无关紧要了。

CoT 提示的吸引力在于它简单、易于检查,并且不像基于梯度的方法那样不透明。然而,正如随后的 Chain-Of-X 方法所示:

  1. 情境学习需要在推理时将高度情境化的信息注入到提示中。
  2. 通过人工注释的数据,以数据为中心的方法变得越来越重要。使用正确的数据需要数据发现、数据设计、数据开发和数据交付。
  3. 随着灵活性的引入,复杂性也随之增加。
  4. 人类观察和检查对于确保系统完整性将变得越来越重要。
  5. 必须引入管理提示​​注入和多重推理架构的更复杂的框架。

CoT明确鼓励LLM为解决问题生成中间推理。这是通过为LLM提供一系列演示中的推理步骤来实现的。CoT提示可以将LLM的性能提高多达80%,对于某些问题任务和问题领域。然而,这些性能提升是以实际成本为代价的,增加了输出令牌使用的费用。此外,推理时间也延长了。

CCoT简介

基于大型语言模型(LLM)的生成式人工智能应用需要通过多管齐下的方法进行优化。这种方法需要考虑提示结构、数据传递、令牌使用和推理延迟。与LLM编排相结合;为最佳任务使用最佳模型。以及以数据为中心的方法进行数据发现、设计和开发。

最近的一项研究引入了一种新的提示技术,称为简洁的链式思维(CCoT)。在这项研究中,标准的CoT与CCoT提示在响应长度和准确性方面进行了比较。对于多项选择题问答,CCoT将响应长度减少了48.70%。因此,CCoT在输出令牌成本上引入了节省,并提供了更浓缩的答案。研究还发现,解决问题性能在CoT和CCoT两种方法之间保持不变。对于数学问题,CCoT的性能惩罚为27.69%。总体而言,CCoT导致平均令牌成本降低了22.67%。

其他CCoT信息

成本与延迟

如果CCoT减少了响应长度,那么CCoT可以用来降低LLM成本。第三方LLM API通常按令牌定价,输出令牌比输入令牌更昂贵。

如下图所示,红色条形图表示输出令牌成本,与蓝色条形图的输入令牌成本相比较。


推理延迟也是一个挑战,可以通过确保响应更短来在一定程度上解决。这可以在不降低性能的情况下实现;研究发现,CCoT在这方面没有性能惩罚。

实际比较

下面是一个仅答案提示的示例,接着是一个传统的冗长CoT提示。最后是一个CCoT提示。

下面是一个仅答案提示的示例。

这里比较了冗长和简洁的CoT提示。


可能的局限性

  • 研究只使用了GPT LLM,看看在开源和功能较弱的LLM上的表现会很有趣。
  • 研究只使用了一个CoT和CCoT提示。因此,其他变体的CoT和CCoT提示可能会产生不同的结果。
  • 考虑到不同任务提示性能的变异,考虑到实施用户意向分流可能效果很好。
  • 并对用户输入进行分类,以便使用编排多个LLM,选择最合适的提示技术等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/732928.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

猫头虎分享已解决Bug || 批处理错误:BatchJobFailure, ProcessingDelay

博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能! 专栏链接: 🔗 精选专栏: 《面试题大全》 — 面试准备的宝典!《IDEA开发秘籍》 — 提升你的IDEA技能!《100天精通鸿蒙》 …

深入理解神经网络

图片怎么被识别的过程 (每层神经网络是数组,会对进来的数据进行加权求和[(weight*数据 然后累加) bias])(激活函数是为了训练weight和bias偏移值,在每个神经网络)(分类器会统计概率分类) 2. 引用链接 https://mp.weixin.qq.com/s?__bizMzIyNjMxOTY0NA&mid2247500124&…

RocketMQ-存储与弹性伸缩

存储与弹性伸缩 一、介绍二、存储架构图1.CommitLog2.ConsumeQueue3.IndexFile 三、消息读写流程1.写入流程1.1 获取Topic元数据1.2 消息投递1.3 消息写入 2.读取流程2.1 获取Topic元数据2.2 消息拉取2.3 消息消费 四、消息持久化1.页缓存2.刷盘2.1 同步刷盘2.2 异步刷盘 五、集…

全量知识系统中的翻译器以及百度文库AI应用中心给出的答复

Q1. 下面是全量知识系统中的翻译器的规划(参考前一篇:全量知识系统 之 “百度翻译”。从“全量知识系统的翻译器”起。链接在下面)。下面的文字分5次发出。链接: 全量知识系统 之 “百度翻译”-CSDN博客 第一次回答:…

解放自我,减轻负担:生活中的压力和痛苦源于自己

人生中,我们经常会感到压力重重,痛苦纠缠。然而,有没有想过,这些艰难困扰的根源究竟在哪里?或许,所有的压力都是因为我们太过迫切地追求某些东西,而所有的痛苦,则源于我们对事物过于…

【python】异常处理

前言 省略各种废话,直接快速整理知识点 try-except 基础 作用 程序不可能永远都是对的,当7除a,a由用户输入时,用户输入0就会报错。try-except就是解决这些问题。 结构 多分支自定义错误类型 上方的exception是一个错误类型…

遮蔽云和云雾函数

目录 简介源代码详细的函数说明.select&#xff08;&#xff09;cloudBitMask 1 << 10 -[操作符]qa.bitwiseAnd(cloudBitMask).eq(0).and&#xff08;&#xff09;image.updateMask().divide(10000) 函数应用 简介 这是一个在 Google Earth Engine 中用于遮蔽 Sentinel…

lambda有先后顺序

点击 QRadioButton 后 QLineEdit 收不到 textChanged 信号。 connect(radioButton, &QRadioButton::clicked, []{lineEdit->textChanged(""); });connect(lineEdit, &QLineEdit::textChanged, [](){... });QLineEdit 先 connect textCha…

基于Kronig-Penney能带模型的MATLAB求解与仿真

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.本算法原理 5.完整程序 1.程序功能描述 基于Kronig-Penney能带模型的MATLAB求解与仿真.综合利用 MATLAB提供的求解常微分方程、矩阵行列式、代数表达式化简及绘图等函数 ,可使 Kronig-Penney能带模型分析…

c语言,大宗撮合交易中心系统核心模块代码

撮合交易系统&#xff08;Matching System&#xff09;常用于大宗交易&#xff0c;如股票、期货等市场&#xff0c;它负责根据买卖双方的报价和数量&#xff0c;自动撮合成交。撮合系统的核心模块通常包括订单管理、价格计算和撮合逻辑等部分。 由于撮合系统的实现复杂且依赖于…

R语言更新版本

目录 一、更新R语言 1、安装最新的R语言版本 2、移动之前安装的packages 3、将Rstudio连接到最新的R语言 二、Rstudio更新 一、更新R语言 1、安装最新的R语言版本 查看当前R语言版本&#xff1a; R.version.string 下载最新的R语言安装包&#xff1a;R: The R Project…

C++面试题和笔试题(二)

1.什么是C中的RAII&#xff1f; RAII&#xff0c;全称Resource Acquisition Is Initialization&#xff0c;是C中的一种编程技巧。其核心思想是在对象的构造函数中获取资源&#xff0c;在析构函数中释放资源&#xff0c;以确保资源的正确管理。通过这种方式&#xff0c;资源的…

详解数据库、Hive以及Hadoop之间的关系

1.数据库&#xff1a; 数据库是一个用于存储和管理数据的系统。数据库管理系统&#xff08;DBMS&#xff09;是用于管理数据库的软件。数据库使用表和字段的结构来组织和存储数据。关系型数据库是最常见的数据库类型&#xff0c;使用SQL&#xff08;Structured Query Language…

文献阅读:DEA-Net:基于细节增强卷积和内容引导注意的单图像去雾

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 摘要Abstract文献阅读&#xff1a;DEA-Net&#xff1a;基于细节增强卷积和内容引导注意的单图像去雾1、研究背景2、方法提出3、相关知识3.1、DEConv3.3、多重卷积的…

C#快速入门基础

本篇文章从最基础的C#编程开始学习&#xff0c;经过非常优秀的面向对象编程思想和方法的学习&#xff0c;为C#编程打下基础。 第 01 章 C#开发环境之VS使用和.NET平台基础 1.1 Visual Studio 开发环境 1.1.1 硬件环境 i5CPUi5CPU&#xff08;建议 4核 4线程或以上 &#xff0…

第五十四回 高太尉大兴三路兵 呼延灼摆布连环马-AI通过构建并训练CNN网络来进行飞机识别

呼延灼举荐了百胜将韩滔和天目将彭玘做先锋。 两军对战&#xff0c;韩滔和秦明斗二十回合&#xff0c;呼延灼与林冲斗在一起&#xff0c;花荣与彭玘斗在一处&#xff0c;后彭玘与一丈青扈三娘斗在一起&#xff0c;被扈三娘抓住。 尽管梁山占优&#xff0c;宋江也没有乘胜追击&…

this.$set,更新vue视图

this.$set(this.searchForm, age, 30) // 对象 this.$set(this.searchForm1, 0, { name: 汪汪, age: 11, content: 擅长口算 })// 数组

帮管客CRM jiliyu接口存在SQL漏洞 附POC软件

免责声明:请勿利用文章内的相关技术从事非法测试,由于传播、利用此文所提供的信息或者工具而造成的任何直接或者间接的后果及损失,均由使用者本人负责,所产生的一切不良后果与文章作者无关。该文章仅供学习用途使用。 1. 帮管客CRM简介 微信公众号搜索:南风漏洞复现文库…

PTA 以下选项中,对基本类型相同的指针变量不能进行运算的运算符是()。A. =B. ==C. +D. -

以下选项中&#xff0c;对基本类型相同的指针变量不能进行运算的运算符是&#xff08;&#xff09;。 A. B. C. D. - 答&#xff1a;C 解析&#xff1a; 选项 A &#xff1a;“&#xff08;赋值&#xff09;”是对于类型相同的两个指针变量之间常规运算。 选项 B&#xf…

LeetCode 第55天 | 583. 两个字符串的删除操作 72. 编辑距离 动态规划

583. 两个字符串的删除操作 求两个字符串的最长公共子序列&#xff0c;用两个字符串的长度减去两倍的最长公共子序列长度即为需要进行的最少次数的删除活动。 class Solution { public:int minDistance(string word1, string word2) {// 求最长公共子序列vector<vector<…