有待挖掘的金矿:大模型的幻觉之境

      人工智能正在迅速变得无处不在,在科学和学术研究中,自回归的大型语言模型(LLM)走在了前列。自从LLM的概念被整合到自然语言处理(NLP)的讨论中以来,LLM中的幻觉现象一直被广泛视为一个显著的社会危害和一个关键的瓶颈,阻碍了LLM在现实世界中的应用。无论是在流行且全面的学术调查中,还是在面向公众的技术报告中,都将幻觉问题定位为LLM的主要伦理和安全陷阱之一,应该与其他问题(如偏见和毒性)一起得到严重缓解。因此,将幻觉减少到可以忽略不计的水平的承诺,不仅被视为一个技术挑战,也是更广泛使命的关键组成部分,以减轻与LLM的广泛部署和广泛采用相关的社会污名和系统风险。

     然而,一小部分工作提出了一种观点,即幻觉并非本质上有害。这种探索性的观点强调了幻觉的潜在价值和合理必要性。最近的研究表明,幻觉是统计上的必然,并且由于创造性、生成性和信息准确性之间的权衡,从LLM中消除幻觉是不可能的。此外,在许多特定领域的应用中,实现创造性和事实性之间的优化平衡,比仅仅试图消除幻觉更能有效地最大化LLM的效用。幻觉可能特别有价值的LLM用例包括发现新型蛋白质、为创意写作提供灵感以及制定创新的法律类比。

    在本文中,我们试图扩大幻觉的概念,并认为幻觉更接近于“虚构”这一概念,这一术语已经在关于AI的公共话语中获得了流行,但尚未在学术文献中广泛传播。

1 “虚构”(confabulation)VS“幻觉”(hallucination)

"Confabulation" 和 "hallucination" 都是从精神病学借用过来的人化类比,但"confabulation"因避免了暗示LLMs具有感官体验或意识的棘手含义,且更中性,因此在AI公共话语中被视为"hallucination"的首选替代词

1.1 现有定义的局限性

现有的定义主要关注伪造与事实不符的特征,忽略了其在人类交流中的社会和认知效益。

这些定义没有充分考虑人类在填补知识空白时,倾向于使用叙事作为认知资源的倾向。

1.2 新的定义

伪造是一种叙事冲动,即生成更具实质性、更连贯的输出的倾向。这种冲动体现了人类利用叙事进行理解和交流的倾向。

伪造可以产生虚构但可信的信息,帮助人们填补知识空白,并构建连贯的语义意义。

2 数据、方法和结果

2.1 基准数据集

FaithDial:一个无幻觉的对话基准,介于寻求信息的用户和聊天机器人之间,改编自“维基百科巫师”。Mechanical Turk注释器将WoW的人类生成响应标记为“幻觉”或真实响应。真实响应被细分为三个类别:“蕴含”(Entailment)、“不合作”(Uncooperative)和“通用”(Generic),并对21445个原始响应进行了忠实且基于知识的编辑。

BEGIN是对FaithDial进行的初步研究,旨在选择一个现有的基准进行后续的大规模注释和编辑。作为一个较小的专家策划集,它包括信息寻求查询以及人类编写和模型生成(GPT-2、DoHA和CRTL)的响应,每种响应都使用与FaithDial略有不同的幻觉分类法进行标记(增加了“部分幻觉”作为标签),由专家注释器完成。我们采用BEGIN作为对我们在HaluEval上发现的叙事模式的模型和数据集的一致性和鲁棒性的验证,以确认不同数据集和模型之间叙事模式的一致性和鲁棒性。

HaluEval是一个全面的数据集,展示了合理但幻觉的ChatGPT生成与其真相对应物。与FaithDial和BEGIN更细粒度的幻觉标签不同,HaluEval只区分幻觉和真相响应。我们只使用HaluEval的对话部分,包含10000个样本,以保持与其他基准的领域一致性。

对于FaithDial和BEGIN数据集,我们将所有不包含“幻觉”标签的输出视为“真相”,并将所有包含“幻觉”标签以及一个额外真实标签的输出视为“部分”幻觉/真相。这种聚合允许跨数据集进行更直接的比较。如下所示:虚构文本表现出更高水平的叙事性,因此可以被视为一种叙事丰富的行为。

2.2 方法

  • 叙事性评估: 使用微调后的 ELECTRA-large 模型,对幻觉文本和真实文本进行叙事性评估,并比较两组文本的叙事性得分。
  • 叙事性与幻觉标签的相关性分析: 使用二元逻辑回归模型,分析叙事性得分与幻觉标签之间的预测关系,以确定叙事性是否可以预测幻觉标签。
  • 叙事性与连贯性的相关性分析: 使用贝塔回归模型,分析叙事性得分与对话连贯性得分之间的相关性,以确定叙事性是否与连贯性相关。

2.3 结果

  • 叙事性: 在所有三个基准数据集中,幻觉文本的叙事性得分都显著高于部分幻觉文本和非幻觉文本,以及它们的真实回复
  • 叙事性与幻觉标签: 叙事性得分可以显著预测幻觉标签,即叙事性越高的文本,更有可能被标注为幻觉。
  • 叙事性与连贯性: 叙事性得分与对话连贯性得分之间存在显著正相关关系,即叙事性越高的文本,对话的连贯性也越高。

3 虚构价值有待挖掘

我们认为,虚构的叙事丰富特性不应被视为缺陷,而是LLM与人类使用叙事作为说服、身份构建和社会协商多功能工具的既定倾向相一致的标志。反过来,规范观点对虚构的不加思索的否定将冒着从LLM的能力中消除对沟通和意义构建至关重要的行为和认知能力的风险。虚构价值有待进一步挖掘:

  • 叙事性增强: 伪造的输出往往具有更高的叙事性,即内容更加连贯和有故事性。这与人类倾向于使用叙事来理解和沟通的方式相似,因此可能更易于理解和接受。
  • 启发式工具: 伪造的输出可以作为启发式工具,帮助人们探索特定领域的场景,并利用伪造的特性进行创造性思维。
  • 对抗样本: 伪造的输出可以用于构建对抗样本,帮助提高模型的鲁棒性和可靠性。
  • 合成训练数据: 伪造的输出可以作为合成训练数据,用于增强模型的泛化能力。

4 未来研究方向

我们提出对LLM虚构现象作为潜在资源的系统性辩护,而不是一个绝对的负面陷阱。我们认为,认为LLM产生幻觉是因为它们不可靠、不忠实,最终不像人类的观点过于简化。相反,它们虚构并表现出与人类讲故事冲动非常相似的叙事丰富行为模式——也许幻觉使它们比我们愿意承认的更像我们

  • 因果关系未明确:尽管研究发现叙述性与连贯性之间存在关联,但研究并未断言叙述性直接驱动连贯性,这需要更全面的方法来阐明。
  • 跨学科视角的支持:当前结论得到了跨学科视角的支持,但需要更健壮的叙事建模方法和更全面的人类评估来进一步探讨这一关联。
  • 人类-AI交互的验证:研究中观察到的叙述性和连贯性特征在人类-人类交流中被认为是有益的,但这些特性在人类-AI交互中的适用性需要通过基于人类的评估来验证。
  • 后续实验计划:计划通过包含人类参与者的实验来验证叙事参与的益处,并探索虚构在不同领域的应用潜力。
  • 跨领域应用探索:如果叙事丰富的虚构得到有效验证,将为未来研究开辟新途径,包括在新闻、广告等领域的应用,并可能激发更多跨学科的探索。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/24122.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Oracle EBS AP发票创建会计科目提示:APP-SQLAP-10710:无法联机创建会计分录

系统版本 RDBMS : 12.1.0.2.0 Oracle Applications : 12.2.6 问题症状: 提交“创建会计科目”请求提示错误信息如下: APP-SQLAP-10710:无法联机创建会计分录。 请提交应付款管理系统会计流程,而不要为此事务处理创建会计分录解决方法 数据修复SQL脚本: UPDATE ap_invoi…

LabVIEW阀性能试验台测控系统

本项目开发的阀性能试验台测控系统是为满足国家和企业相关标准而设计的,主要用于汽车气压制动系统控制装置和调节装置等产品的综合性能测试。系统采用工控机控制,配置电器控制柜,实现运动控制、开关量控制及传感器信号采集,具备数…

算法-分治策略

概念 分治算法(Divide and Conquer)是一种解决问题的策略,它将一个问题分解成若干个规模较小的相同问题,然后递归地解决这些子问题,最后合并子问题的解得到原问题的解。分治算法的基本思想是将复杂问题分解成若干个较…

计算机网络 期末复习(谢希仁版本)第3章

对于点对点的链路,目前使用得最广泛的数据链路层协议是点对点协议 PPP (Point-to-Point Protocol)。局域网的传输媒体,包括有线传输媒体和无线传输媒体两个大类,那么有线传输媒体有同轴电缆、双绞线和光纤;无线传输媒体有微波、红…

基于Texture2D 实现Unity 截屏功能

实现 截屏 Texture2D texture new Texture2D(Screen.width, Screen.height, TextureFormat.RGB24, false); texture.ReadPixels(new Rect(0, 0, Screen.width, Screen.height), 0, 0); texture.Apply(); 存储 byte[] array ImageConversion.EncodeToPNG(texture); if (!…

分享万能点击器免费版,吾爱大佬出品,这个太赞了!

小伙伴们!阿星又来给大家推荐神奇的小软件啦!这次的主角可是个神器——鼠标连点器!你听过没?这玩意儿简直是个“自动小助手”,让你的鼠标在屏幕上飞舞,点得飞快,解放你的双手,让你网…

一篇文章带你搞懂C++引用(建议收藏)

引用 6.1 引用概念 引用不是新定义一个变量,而是给已存在变量取了一个别名,编译器不会为引用变量开辟内存空间,它和它引用的变量共用同一块内存空间。 比如:李逵,在家称为"铁牛",江湖上人称&quo…

Linux.软件操作

1.yum 命令 要连网 2.systemctl 命令控制软件的启动和关闭 3.ln 创建软连接 使用cat来找本体,看看链接生不生效 4.date 命令查看系统时间 格式化的时候可以用双引号把他们引出来 -d 对时间进行修改 修改时区 自动校准 手动校准 5.ifconfig 查看本机的ip地址 6.h…

5.31.15 使用图像到图像转换和 YOLO 技术对先前的乳房 X 光检查结果中的异常进行早期检测和分类

在本研究中,我们研究了基于 You-Only-Look-Once (YOLO) 架构的端到端融合模型的有效性,该模型可同时检测和分类数字乳房 X 光检查中的可疑乳腺病变。包括四类病例:肿块、钙化、结构扭曲和正常,这些病例来自包含 413 个病例的私人数…

ic基础|复位篇02:芯片中的“人生重来枪”!crg之复位系统

大家好,我是数字小熊饼干,一个练习时长两年半的ic打工人。我在两年前通过自学跨行社招加入了IC行业。现在我打算将这两年的工作经验和当初面试时最常问的一些问题进行总结,并通过汇总成文章的形式进行输出,相信无论你是在职的还是…

范闲获取到庆帝与神庙的往来信件,用AES进行破解

关注微信公众号 数据分析螺丝钉 免费领取价值万元的python/java/商业分析/数据结构与算法学习资料 在《庆余年2》中,范闲与庆帝和神庙之间的权谋斗争愈演愈烈。一次偶然的机会,范闲从庆帝的密室中获取到几封与神庙往来的密信。然而,这封信件…

eclipse连接后端mysql数据库并且查询

教学视频:https://www.bilibili.com/video/BV1mK4y157kE/?spm_id_from333.337.search-card.all.click&vd_source26e80390f500a7ceea611e29c7bcea38本人eclipse和up主不同的地方如下,右键项目名称->build path->configure build path->Libr…

【悬架笔记三】1/4被动悬架垂向动力学仿真+频域特性分析

1/4被动悬架 代码: %书第156页、159页 clc clear close all %% 一.悬架参数 ms320; mw50; Ks22000; Cs1500; Kw195000; f00.07; %% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %% 二.垂向振动动力学仿真 %% 二.1.状态方程 A [0 1 0 -1;.…

JavaSE 实战五子棋中国象棋(单机简易版)

介绍 JavaSE实践五子棋和中国象棋游戏,棋盘,棋子绘制,输赢判定重置棋盘,单机博弈。 五子棋棋盘 中国象棋棋盘 使用说明 启动类 Main.java, 面板类 Panel.java绘制棋盘和玩法,实体类 ChessPiecesNode.jav…

【Text2SQL 论文】MAC-SQL:多个 Agents 合作来解决 Text2SQL

论文:MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL ⭐⭐⭐⭐ arXiv:2312.11242, 北航 & Tencent Code: MAC-SQL | GitHub 文章目录 一、论文速读二、MAC-SQL2.1 Selector agent2.2 Decomposer agent2.3 Refiner agent 三、指令微调的 SQL-L…

【Python Cookbook】S02E04 文本模式的匹配和查找 match()、search()、findall() 以及 捕获组和 + 的含义

目录 问题解决方案讨论 问题 本文讨论一些按照特定的文本模式进行的查找和匹配。 解决方案 如果想要匹配的只是简单文字,通常我们使用一些内置的基本字符串方法即可,如:str.find(),str.startwith(),str.endswith() …

Day49 动态规划part08

LC139单词拆分(未掌握) 未掌握分析:将字符串s中的各个字符看成是背包,思考成了多重背包问题单词就是物品,字符串s就是背包,单词能否组成字符串s,就是问物品能不能把背包装满。拆分时可以重复使用字典中的单词&#xf…

转速传感器介绍

一、概述 RPM(Revolutions Per Minute)转速传感器是一种用于测量旋转机械设备转速的传感器。它可以检测旋转部件上的特定位置标记(如齿轮、凸起或磁铁),并根据这些标记的通过频率来计算转速。发电额定频率是50hz和60z…

java线程变量共享

在Java中,线程变量共享可以通过几种方式实现: 1.实例变量:如果一个实例变量被多个线程共享,你需要确保适当的同步,以避免竞态条件。你可以使用synchronized关键字或者Lock接口来保护共享变量。 2.静态变量:…

openh264 降噪功能源码分析

文件位置 ● openh264/codec/processing/denoise/denoise.cpp ● openh264/codec/processing/denoise/denoise_filter.cpp 代码流程 说明:从代码流程可以看到,实现降噪的核心功能主要就是BilateralDenoiseLuma、WaverageDenoiseChroma两个函数。 原理…