虚假新闻检测——Adapting Fake News Detection to the Era of Large Language Models

论文地址:https://arxiv.org/abs/2311.04917

1.概论

        尽管大量的研究致力于虚假新闻检测,这些研究普遍存在两大局限性:其一,它们往往默认所有新闻文本均出自人类之手,忽略了机器深度改写乃至生成的真实新闻日益增长的现象;其二,它们倾向于将所有机器制造的新闻一概视作虚假信息,未能细致区分其中的真实性与欺骗性。                 因此,论文对在各种场景下训练的假新闻探测器进行了深度研究。得出以下重要结论:

  • 针对人类所写的文章进行训练的探测器在检测机器生成的假新闻方面表现出色,但反之不成立
  • 由于检测器对机器生成文本的偏差(Su et al.,2023a),它们应该在比测试集更低的机器生成新闻比率的数据集上进行训练。

2.方法

       

        为了模拟人写内容和机器生成内容之间的动态变化,考虑三种实验设置:

  • 人类遗产阶段:在这一阶段,所有真实新闻训练数据都是人类编写的,而假新闻训练数据则逐渐引入机器生成的比例,从0%增加到100%。
  • 过渡共存阶段:在此阶段,真实新闻的训练数据包括由人类和机器生成的内容。假新闻训练数据也是如此,以反映新闻生成环境的实际变化。
  • 机器主导阶段:在这一阶段,所有真实新闻训练数据都是机器生成的,探索完全由机器控制的新闻生成未来的情形。

3.实验

 (1)实验设计与方法

  • 数据集:研究使用了两个主要数据集:GossipCop++和PolitiFact++。这些数据集包括机器仿写的真实新闻(MR)、机器生成的假新闻(MF)、人类编写的真实新闻(HR)和假新闻(HF)。
  • 模型和方法:采用了基于Transformer的模型,如BERT、RoBERTa、ELECTRA、ALBERT和DeBERTa。这些模型在不同的数据组合和不同的新闻生成阶段(人类遗产阶段、过渡共存阶段、机器主导阶段)进行训练和测试。

(2)主对比实验

  • 人类遗产阶段:在人类遗产阶段中,当训练数据中假新闻的机器生成比例为0%,即全部由人类编写时,检测器能够在域内测试集(GossipCop++)上平衡地检测各个子类。当机器生成假新闻(MF)的比例逐渐增加时,检测器对MF的检测准确性显著提高,但对机器仿写的真实新闻(MR)的检测准确性下降。这表明,尽管检测器在检测机器生成的内容方面表现出高效性,但它们可能过度依赖于特定于机器生成文本的特征,从而影响了对MR的判断。
  • 过渡共存阶段:在过渡共存阶段中,真实新闻和假新闻的训练数据包括了人类编写和机器生成的内容。结果显示,当MF占假新闻训练数据的较大比例时,检测器能够高效地识别机器生成的假新闻(MF),但对人类编写的假新闻(HF)的检测准确性显著降低。这一现象可能由于检测器在训练时学习到将机器生成的文本特征与假新闻关联的倾向,导致它在没有见过足够多人类编写的假新闻样本时,难以准确识别。

  • 机器主导阶段:在机器主导阶段中,所有真实新闻训练数据都是机器生成的,这一设置是为了模拟一个未来可能出现的由机器主导新闻生成的场景。在这种设置下,检测器在域内数据集上对机器生成假新闻(MF)的检测准确性非常高,但同样地,对人类编写的假新闻(HF)的检测准确性较低。这进一步证实了检测器可能过度适应机器生成文本的特征,而忽略了内容的真实性。

(3)Class-wise Accuracy as a Function of the Proportion of MF Examples

        论文评估假新闻检测器在不同比例的机器生成假新闻(MF)比例下的表现。总结如下:

  • 随着MF比例的增加,检测器对机器生成假新闻(MF)的识别准确性普遍提高,显示出对机器文本特征的敏感性。
  • 对人类编写的假新闻(HF)的检测准确性随MF比例的增加而降低,暗示检测器可能过度适应机器生成文本的特征。
  • 对机器仿写的真实新闻(MR)的检测准确性在MF比例增加时通常会下降,这可能是由于检测器将MR与MF混淆,因为两者都是机器生成的。
  • 对人类编写的真实新闻(HR)的检测准确性在MF比例增加时可能会提高,由于HR与MF在风格和特征上的明显差异。

        论文还分析了不同阶段的变化:

  • 人类遗产阶段:在无机器生成内容的训练数据中,检测器能较好地平衡各子类的检测准确性。
  • 过渡共存阶段:反映了新闻来源的多样化,其中检测器对机器生成假新闻(MF)的识别性能提高,但对人类编写假新闻(HF)的识别性能降低。
  • 机器主导阶段:几乎所有新闻都由机器生成时,检测器对机器生成假新闻(MF)的检测性能极高,但对人类编写内容的检测性能较低。

(4)不同检测器以及模型大小的分析 

  • 模型比较不同模型在识别各类假新闻方面表现出显著差异。例如,RoBERTa在某些设置中对人类假新闻(HF)和机器生成假新闻(MF)的检测准确性较高,而其他模型可能在检测真实新闻(HR)方面表现更优。
  • 模型偏好这些差异可能反映了内在的模型偏好或训练时的特性,例如某些模型可能更倾向于将文章分类为真或假,这影响了它们在复杂数据集上的泛化能力。
  • 模型大小的影响:模型的大小(大型与基本型号)对其在处理假新闻检测任务中的表现有明显影响。较大的模型通常能更好地处理更多的信息和更复杂的特征,从而可能在识别机器生成的假新闻(MF)等复杂情况中表现更佳。而较小的模型可能在某些情况下因为模型较为简单,不易过拟合,而在特定子类别如人类编写的真实新闻(HR)上表现更好。

                

 (5)跨域检测       

  • 性能下降:在域外数据集上,大多数检测器的性能普遍下降,尤其是在没有足够代表性的训练数据时。
  • MF比例的影响:增加机器生成假新闻(MF)的比例能够帮助缓解跨域检测准确性的差距,尽管这可能会牺牲对某些子类(如HF和MR)的检测准确性。

4.总结

  • 训练数据的平衡:研究建议在训练假新闻检测器时使用多样化的数据源,尤其是在不确定测试数据分布的情况下,应包含不同来源的真假新闻。
  • 跨域性能的优化:通过在训练集中增加机器生成内容的比例,可以改善检测器在不同域上的泛化能力,从而减少在域内和域外检测准确性之间的差距。

        

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/2275.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【漏洞复现】Adobe ColdFusion 任意文件读取漏洞 CVE-2024-20767

漏洞描述 Adobe ColdFusion是美国奧多比(Adobe)公司的一套快速应用程序开发平台。该平台ColdFusion 2023 <= Update 6 和 ColdFusion 2021<= Update 12版本中存在一个任意文件读取漏洞。 免责声明 技术文章仅供参考,任何个人和组织使用网络应当遵守宪法法律,遵守公共…

【北京迅为】《iTOP-3588开发板系统编程手册》-第20章 socket 应用编程

RK3588是一款低功耗、高性能的处理器&#xff0c;适用于基于arm的PC和Edge计算设备、个人移动互联网设备等数字多媒体应用&#xff0c;RK3588支持8K视频编解码&#xff0c;内置GPU可以完全兼容OpenGLES 1.1、2.0和3.2。RK3588引入了新一代完全基于硬件的最大4800万像素ISP&…

TI_DSP_F2808学习笔记1: GPIO

1. 初始化设置 1.1 控制寄存器 GPxMUX功能选择寄存器/多功能复用选择 GPxDIR 方向选择寄存器/输入输出选择 0 输入 1 输出GPxPUD 上拉功能选择寄存器/是否启用内部上拉 0 有上拉&#xff0c;1禁止上拉GPxQSeln输入限定选择寄存器 输入n次为0或1才有效&#xff0c;滤波 1.2 数…

使用nacos分布式配置的好处!!!

1、没使用nacos之前&#xff0c;我们如果修改了配置文件&#xff0c;就必须重新发布应用&#xff0c;配置才会生效。使用nacos远程配置后&#xff0c;配置就可以实时更新&#xff0c;就无需重新发布应用&#xff0c;减少了重新发布所消耗的时间&#xff0c;提高了效率。 2、可…

ffmpeg截图(关键帧截图)

1.rtsp流截图 ffmpeg --stimeout 1000000 -rtsp_transport tcp -i rtsp://xxx -vf selecteq(pict_type,PICT_TYPE_I) -vsync vfr -ss 00:00:00.000 -vframes 1 -s 640x480 -y output.jpg -hide_banner参数解释&#xff1a; ● -stimeout 1000000&#xff1a;设置socket超时时间…

PDF 书签制作与调整

本文是对以前发表的旧文拆分&#xff0c;因为原文主题太多&#xff0c;过长&#xff0c;特另起一篇分述。 第一部分 由可编辑 PDF 文档创建书签 方法 1. Adobe Acrobat Pro autobookmark AutoBookmark 是一个可用于 Adobe Acrobat 自动生成书签的插件。 官方下载地址&…

corona渲染器锐化模糊设置,corona高效出图方法

​在使用Corona渲染器进行效果图渲染时&#xff0c;锐化和模糊是两种常用的设置&#xff0c;它们主要用于调整图像的清晰度和柔化效果。锐化参数可以增强图像中的细节&#xff0c;使画面看起来更加清晰锋利&#xff1b;而模糊参数则可以用来柔化图像边缘&#xff0c;减少图像噪…

Etsy多账号关联怎么办?Etsy店铺防关联解决方法

Etsy虽然相对于其他跨境电商平台来说比较小众&#xff0c;但因为平台是以卖手工艺品为主的&#xff0c;所以成本较低&#xff0c;利润很高。许多跨境卖家都纷纷入驻&#xff0c;导致平台规则越发严格&#xff0c;操作不当就会封号&#xff0c;比如一个卖家操作多个账号会出现关…

10.接口自动化测试学习-Pytest框架(2)

1.mark标签 如果在每一个模块&#xff0c;每一个类&#xff0c;每一个方法和用例之前都加上mark标签&#xff0c;那么在pytest运行时就可以只运行带有该mark标签的模块、类、接口。 这样可以方便我们执行自动化时&#xff0c;自主选择执行全部用例、某个模块用例、某个流程用…

二分查找知识点及练习题

知识点讲解 一、没有相同元素查找 请在一个有序递增数组中&#xff08;不存在相同元素&#xff09;&#xff0c;采用二分查找&#xff0c;找出值x的位置&#xff0c;如果x在数组中不存在&#xff0c;请输出-1&#xff01; 输入格式 第一行&#xff0c;一个整数n&#xff0c;代…

家用洗地机买什么牌子的好?四大业内顶尖品牌推荐

家庭清洁一直是必不可少的&#xff0c;但用传统的手动拖地清洁&#xff0c;费时又费力。现在出现了洗地机&#xff0c;确实改变了我们对家庭清洁的看法。它不仅能扫地、拖地&#xff0c;还能吸水&#xff0c;甚至能够自动清洁滚刷解放我们双手&#xff0c;提供高效清洁的同时还…

flutter 点击按钮限流方案

文章目录 前言一、理解限流的思想二、flutter实现代码如下&#xff1a;总结 前言 最近写flutter项目&#xff0c;遇到提交表单重复点击问题&#xff0c;下面是解决方案&#xff0c;希望帮助到大家。 一、理解限流的思想 1、限流思想 限流&#xff08;Throttle&#xff09; 限…

【Linux系列】 离线安装vnc 可视化桌面

离线安装vnc 可视化桌面 缘下载安装vnc初始化链接 缘 项目需要下载 下载地址&#xff1a; http://mirror.centos.org/centos/7/updates/x86_64/Packages/tigervnc-license-1.8.0-31.el7_9.noarch.rpm http://mirror.centos.org/centos/7/os/x86_64/Packages/libXfont2-2.0.…

【Day 6】MySQL 基础

1 MySQL DataBase&#xff08;DB&#xff09;是存储和管理数据的仓库 DataBaseManagementSystem&#xff08;DBMS&#xff09;数据库管理系统&#xff0c;操纵和管理数据库的大型软件 SOL&#xff08;Structured QueryLanguage&#xff09;操作关系型数据库的编程语言&#…

C++/Qt 小知识记录5

工作中遇到的一些小问题&#xff0c;总结的小知识记录&#xff1a;C/Qt 小知识5 Windows下查看端口占用情况C调用Python三方库测试库有没有被加上的测试方法初始化使用Python的env环境&#xff0c;用Py_SetPythonHome设置GDAL相关的&#xff0c;需要把osgeo、rasterio的路径加入…

轻松了解深度学习的几大模型

1. 前馈神经网络&#xff08;Feedforward Neural Networks, FNNs&#xff09; 想象一下&#xff0c;你有一堆不同颜色的球&#xff0c;你的任务是将它们分类到对应的颜色盒子里。你可能会观察每个球的颜色&#xff0c;然后决定它应该放在哪里。这个过程就像是前馈神经网络的工…

【iOS开发】(一)2024 从一无所有开始,到ios开发(react Native)

​ 2024 从一无所有开始&#xff0c;到ios开发&#xff08;react Native&#xff09; 目录标题 1 工具简介2 基础环境搭建1 安装 brew2 安装 Node.js3 安装 Yarn4 安装 React Native 脚手架 3 ios环境搭建4创建并启动一个app 在这里插入图片描述 1 工具简介 Homebrew (brew)&a…

OpenHarmony实战开发-页面布局检查器ArkUI Inspector使用指导

DevEco Studio内置ArkUI Inspector工具&#xff0c;开发者可以使用ArkUI Inspector&#xff0c;在DevEco Studio上查看应用在真机上的UI显示效果。利用ArkUI Inspector工具&#xff0c;开发者可以快速定位布局问题或其他UI相关问题&#xff0c;同时也可以观察和了解不同组件之间…

day24 java IO流 四个节点流

目录 FileInputStream FileOutputStream FileOutputStream类 FileOutputStream续写 FileInputStream类 FileWriter FileReader FileWriter写 FileWriter续写 FileWriter换行 FileWriter关闭和刷新 FileReader读 FileReader读取指定长度 当你创建一个流对象时&#x…

Matlab分段微分方程组拟合【案例源码+视频教程】

专栏导读 作者简介&#xff1a;工学博士&#xff0c;高级工程师&#xff0c;专注于工业软件算法研究本文已收录于专栏&#xff1a;《复杂函数拟合案例分享》本专栏旨在提供 1.以案例的形式讲解各类复杂函数拟合的程序实现方法&#xff0c;并提供所有案例完整源码&#xff1b;2.…