研究人员描述了如何判断ChatGPT是否在虚构

研究人员描述了如何判断ChatGPT是否在虚构

在这里插入图片描述
这是世界上最不为人知的秘密之一,大型语言模型对查询给出了明显错误的答案,并自信地这样做,与它们正确的时候没有区别。这有很多原因。人工智能可能已经接受了错误信息的训练;答案可能需要从LLM无法做到的事实中进行一些推断;或者LLM培训的某些方面可能激发了谎言。

但也许最简单的解释是,LLM不知道什么是正确答案,而是被迫提供一个正确答案。所以它只是编造一些东西,这种习惯被称为虚构。

考虑到从大学论文到工作申请,人们很快就开始依赖LLM了,弄清楚LLM什么时候在胡编胡造,显然具有巨大的价值。现在,牛津大学的研究人员表示,他们已经找到了一种相对简单的方法来确定LLM们在什么时候会出现“假设”,这种方法适用于所有流行的模型,适用于广泛的学科。而且,在这样做的过程中,他们发现了证据,证明LLM提供的大多数替代事实都是虚构的产物。

抓住交谈

这项新研究严格地是关于虚构的,而不是针对错误输入的训练等实例。正如牛津大学的研究小组在他们的论文中所定义的那样,虚构是指“LLMs流利地提出错误和武断的主张——我们的意思是,答案对不相关的细节很敏感,比如随机种子。”

他们工作背后的原因其实很简单。LLM没有经过准确性培训;它们只是接受大量文本的训练,并通过这些文本学习产生听起来像人类的措辞。如果在其训练中有足够多的文本示例始终如一地将某事呈现为事实,那么LLM可能会将其呈现为事实。但是,如果训练中的例子很少,或者与事实不一致,那么LLM就会合成一个听起来似乎合理的答案,而这个答案很可能是错误的。

但LLM也可能遇到类似的情况,因为它有多种选择来表达正确的答案。以研究人员论文中的一个例子为例,“巴黎”、“它在巴黎”和“法国首都巴黎”都是对“埃菲尔铁塔在哪里”的有效回答。所以,统计不确定性,在这种情况下被称为熵,可能出现在LLM不确定如何表达正确答案或无法识别正确答案的时候。

这意味着,当LLM面对几个大致相同的答案时,仅仅强迫他们回答“我不知道”并不是一个好主意。这样做可能会屏蔽很多正确答案。

因此,研究人员转而关注他们所谓的语义熵。这将评估LLM评估的所有统计上可能的答案,并确定其中有多少是语义等效的。如果大量的数字都有相同的意思,那么LLM可能不确定措辞,但有正确的答案。如果没有,那么它可能处于一种容易虚构的情况,应该防止这样做。

提取意义

这在实践中是如何起作用的呢?描述非常简单明了:

我们的方法是通过对每个问题采样几个可能的答案,并通过算法将它们聚类成具有相似含义的答案,我们根据同一聚类中的答案是否相互双向限定来确定答案。也就是说,如果句子A意味着句子B为真,反之亦然,那么我们认为它们在同一个语义簇中。

如果单个集群占主导地位,那么AI将从具有相似事实内容的选项集合中选择一个答案。如果有多个集群,那么AI将在具有不同事实内容的不同集合中进行选择——这种情况很可能导致虚构。

除了概念上的简单性之外,基于这些想法实现系统也是直截了当的。大多数主要的llm将生成一组统计上可能的查询答案,这需要评估语义熵。已经有了LLM和称为自然语言推理工具的软件,可以确定两个句子是否相互暗示。而且,由于这些工具的存在,不需要有监督的训练,这意味着系统不需要输入虚构的例子来学习确定一组潜在答案的语义熵。

研究人员开发了一种方法来确定用户将体验到的准确性的提高,这要归功于他们的语义熵过滤器。然后,他们测试了它和其他一些错误捕捉方法,涉及的主题范围很广:琐事和常识、生物学和一组谷歌搜索查询。

在这些测试中,有两件事变得很明显。一个是,除了少数边缘情况,语义熵比任何其他方法捕获更多的错误答案。第二,LLM产生的大多数错误似乎都是虚构的。这可以从其他一些方法捕获各种错误类型的事实中推断出来,但是语义熵测试优于它们,即使这些测试只捕获虚构。

超越简单事实

研究人员还证明,该系统可以通过修改来处理大量个人事实的传记,从而适应更多的基本事实陈述。因此,他们开发了一种软件,将传记信息分解成一组单独的事实陈述,并使用语义熵对每一个陈述进行评估。这是一个简短的传记,有多达150个个人的事实主张。

总的来说,这似乎是一个高度灵活的系统,不需要重大的新开发就可以付诸实践,并且可以为LLM的性能提供一些显着的改进。而且,由于它只捕获虚构的错误,而不捕获其他类型的错误,因此可以将它与其他方法结合起来进一步提高性能。

正如研究人员所指出的,这项工作还表明,在答案选项的统计数据中,LLM似乎拥有知道何时得到正确答案所需的所有信息;只是没有被杠杆化。正如他们所说,“语义熵在检测错误方面的成功表明,LLM在‘知道他们不知道的东西’方面甚至比人们认为的更好……他们只是不知道他们知道自己不知道什么。”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/31838.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Flutter【组件】富文本组件

简介 flutter 富文本组件。 github地址: https://github.com/ThinkerJack/jac_uikit pub地址:https://pub.dev/packages/jac_uikit 使用方式 运行 flutter pub add jac_uikit组件文档 使用方式: HighlightedTextWidget.builder(text: &…

Linux解压缩命令

文章目录 前言1. tar - 打包和压缩文件2. gzip - 压缩文件3. gunzip - 解压缩gzip文件4. bzip2 - 压缩文件5. unzip - 解压缩zip文件6. zip - 压缩文件为zip格式7. 7z - 7-Zip压缩工具8. unrar - 解压缩RAR文件 前言 解压缩文件在Linux中是常见的任务,以下是一些常…

内积知识点小记

import numpy as np a np.array([1,2]) b np.array([3,4]) c a b # 11e np.array([[1,2],[3,4]]) f np.array([[5,6],[7,8]])g e f #array([[19, 22],[43, 50]])内积,也称为点积或数量积,是数学中接受在实数R上的两个向量并返回一个实数值标量的…

视频数据标注

视频采集 视频采集通常指的是将视频信号从视频源(如摄像头、视频播放器等)捕获并转换为数字格式,以便于计算机处理和存储。 视频采集步骤: 视频信号捕获:通过摄像头、网络摄像头、视频采集卡等设备将视频信号捕获。 …

SpringMVC的使用

SpringMVC详情 RequestMapping("/hello") 负责用户的请求路径与后台服务器之间的映射关系 如果请求路径不匹配,则用户报错404 ResponseBody 作用: 将服务器的返回值转化为JSON. 如果服务器返回的是String类型,则按照自身返回. 新增: post请求类型 PostMapping("…

Java 从零开始写一个简单的图书管理系统

了解一下 先来了解要实现一个怎样的图书管理系统 从中可以看到有操作的 使用者 和 不同 的 功能 而不同的使用者有不同的 菜单 那要如何实现呢? 请继续看下去 如何实现 首先了解我们 需要什么 图书系统需要 书,放书的 书架 ,用户 中有 管…

理解Python中的类型不兼容性:为什么 `dict[int, int]` 不兼容 `dict[int, int | str]`

在使用Python的类型提示时,开发者可能会遇到一些看似不合理的类型不兼容错误。一个典型的问题是,为什么 dict[int, int] 不能赋值给 dict[int, int | str]。本文将详细探讨这个问题,并提供一些解决方法。 例子分析 考虑以下代码片段&#x…

大数据与java哪个好找工作?这篇文章帮你做选择!

大数据与java哪个好找工作?这篇文章帮你做选择! 还在为选择Java开发还是Java大数据而头疼吗?别担心,本文将从就业前景、学习方向、学习内容以及薪资待遇四个方面,为你揭开Java和Java大数据的神秘面纱,帮你做…

【STM32】时钟树系统

1.时钟树简介 1.1五个时钟源 LSI是低速内部时钟,RC振荡器,频率为32kHz左右。供独立看门狗和自动唤醒单元使用。 LSE是低速外部时钟,接频率为32.768kHz的石英晶体。这个主要是RTC的时钟源。 HSE是高速外部时钟,可接石英*/陶瓷谐振…

[18] Opencv_CUDA应用之 基于颜色的对象检测与跟踪

Opencv_CUDA应用之 基于颜色的对象检测与跟踪 使用颜色作为特征来检测特定颜色的对象当要检测的对象具有特定颜色且该颜色与背景颜色不同时此方法很有用本方法不适用于对象与背景颜色相近的情况 蓝色对象检测与跟踪 首先肯定会想到如何将蓝色分割出来?该使用哪个…

Webstorm vue项目@路径不能跳转到对应资源,提示Cannot find declaration to go to

Webstorm vue项目路径不能跳转到对应资源,提示Cannot find declaration to go to 我们 ctrl加鼠标左键点击方法会失效,看了网上很多教程在说需要在此处配置一下webpack.config.js的文件路径,而且指向了node_modules\vue\cli-service\webpack.config.js 我…

外贸SEO工具有哪些推荐?

"我们作为一个专业的Google SEO团队,比较推荐一下几个适合外贸SEO的工具。Ahrefs 是一个非常强大的工具,可以帮助你深入分析竞争对手的表现,找到有潜力的关键词,还可以监控你的网站链接状况。另外,SEMrush 也很不…

Android基础到进阶UI祖父级 ViewGroup介绍+实用

1.创建CustomLayout继承ViewGroup /** 编写自定义ViewGroup的示例。 */ public class CustomLayout extends ViewGroup { // private int childHorizontalSpace 20; // private int childVerticalSpace 20; private int childHorizontalSpace; private int childVert…

Android企业级实战-界面篇-5

3.colors.xml文件内容(此案例可用) #ffb2b2b2 #ff14c4bc color/jimeng_text_tertiary_light color/jimeng_green_light color/jimeng_background_secondary_light color/jimeng_background_secondary_light #7f4eb7ba 4.strings.xml文件内容&…

tessy 单元测试 TDE 界面 数据无法填充:the test object interface is incomplete

目录 1,失败现象 2,失败原因 3,解决办法 1,失败现象 函数名字前的图标高度缩小为正常的一半,TDE界面的数据无法填充。错误提示为题目中的英文。 2,失败原因 TIE界面,此函数的参数的 passing …

计算机专业是否仍是“万金油”

作为一名即将参加高考的学生,我站在人生的分岔路口上,面临着选择大学专业的重大抉择。在这个关键节点,计算机相关专业是否仍是炙手可热的选择?  首先,从行业的角度来看,计算机相关专业确实在近年来持续火…

magento2里面用到的概念

magento2是个开源PHP电商系统,同类的系统一般需要有HTML、CSS、Javascript、PHP/Psr4/MVC、Mysql等基础,而使用magento2,也许需要先认识更多概念。 Dependency Injection 依赖注入,简称DI 老PHPer也会对这个很陌生,这…

内容安全复习 5 - 深在线社交网络分析与舆情监测

文章目录 在线社交网络分析什么是在线社交网络什么是在线社交网络分析社交网络信息传播基本模型影响力模型传染模型影响力计算公式 网络舆情监测网络舆情概述网络舆情监测系统 在线社交网络分析 什么是在线社交网络 在线社交网络是一种在信息网络上由社会个体集合及个体之间的…

[19] Opencv_CUDA应用之 基于形状的对象检测与跟踪

Opencv_CUDA应用之 基于形状的对象检测与跟踪 形状可以用作全局特征检测具有不同形状的物体,可以是直线、多边形、圆形或者任何其他不规则形状利用对象边界、边缘和轮廓可以检测具有特定形状的对象本文将使用Canny边缘检测算法和Hough变换来检测两个规则形状&#…