论文笔记:Detecting Pretraining Data from Large Language Models

iclr 2024 reviewer评分 5688

1 intro

  • 论文考虑的问题:给定一段文本和对一个黑盒语言模型的访问权限,在不知道其预训练数据的情况下,能否判断该模型是否在这段文本上进行了预训练
    • 这个问题是成员推断攻击(Membership Inference Attacks,MIA)的一个实例
  • 最近存在一些工作将微调数据检测作为一个MIA问题进行了研究
    • 但是,将这些方法应用到检测大模型相关数据中,存在两个独特的技术挑战
      • 与通常运行多个epoch的微调不同,预训练使用的数据集要大得多,但每个实例只暴露一次,
        • ——>这显著减弱了成功MIA所需的潜在记忆
      • 以前的方法通常依赖于一个或多个参考模型(影子模型)
        • 这些模型以与目标模型相同的方式进行训练(从相同的基础预训练数据分布中采样的影子数据上进行训练)
        • 这对于大型语言模型来说不可行,因为训练分布通常不可用,训练成本也太高
  • ——>论文提出了一个基准 WikiMIA和一种预训练数据检测方法Min-K% Prob

2 WikiMIA

  • 使用在特定日期(2023年1月1日)之后添加到维基百科的事件来构建基准
    • 将这些事件视为非成员数据,因为可以保证这些数据不会出现在预训练数据中
  • ——>最终收集了394个最近事件作为我们的非成员数据,并随机选择了394个在2016年前的维基百科页面中的事件作为我们的成员数据

2.1 数据的三个理想属性

  • 准确:
    • 在语言模型预训练之后发生的事件保证不会出现在预训练数据中。
    • 事件的时间性质确保非成员数据确实未曾见过,并没有在预训练数据中提到。
  • 通用
    • 不限于任何特定的模型,可以应用于使用维基百科数据进行预训练的各种模型(OPT、LLaMA、GPT-Neo)
  • 动态:
    • 由于这里的数据构建流程是完全自动化的,论文将通过从维基百科收集更多最近的非成员数据(即更近期的事件)来持续更新论文的基准

Min-K% Prob

3.1 微调MIA 方法的不足

  • 微调的MIA方法通常是:
    • 用在相似数据分布上训练的参考模型(影子模型)来校准目标模型使用某一个样本的概率。
    • 但是,由于预训练数据的黑盒性质和其高计算成本,这些方法在预训练数据检测中是不实际的。
  • ——>论文提出了一个无参考的MIA方法Min-K% Prob

3.2 方法介绍

  • 论文的方法基于一个简单的假设——一个未见过的样本往往包含几个具有低概率的异常词,而一个见过的样本不太可能包含这样低概率的词。
  • Min-K% Prob计算离群词元的平均概率。
  • Min-K% Prob可以在不了解预训练语料库或,不需要任何额外训练的情况下使用

如果平均概率高,那么很有可能文本在预训练数据中

4 实验

4.1 检测结果

4.2 文本和模型大小的影响

4.3 GPT3 预训练数据中的Top20书籍

4.4 不同learning rate的影响

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/798660.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

天星数科聚势赋能,精准服务实体企业的产业金融需求

近年来,供应链金融行业受到国家层面的多项政策鼓励,是我国融资结构改革、金融服务实体经济、服务中小企业的重要抓手。2021年3月政府工作报告中首次提及“创新供应链金融服务模式”,这不仅意味着供应链金融已上升为国家战略,更意味…

npm 命令及其详细解释

npm init 用途&#xff1a;用于初始化一个新的 Node.js 项目&#xff0c;并生成 package.json 文件。详解&#xff1a;该命令会引导您填写项目的基本信息&#xff0c;如项目名称、版本、描述等&#xff0c;并创建 package.json 文件以保存这些信息。 npm install <package&g…

HarmonyOS实战开发-如何实现分布式帐号相关的功能。

介绍 本示例主要展示了分布式帐号相关的功能&#xff0c;使用ohos.account.distributedAccount、ohos.account.osAccount等接口&#xff0c;实现了绑定分布式帐号、解绑分布式帐号、更新分布式帐号信息和管理分布式帐号的功能&#xff1b; 效果预览 使用说明 1.首次进入应用会…

Java整合ElasticSearch8.13

1、引入Jar包 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency> 2、配置ES连接信息 spring:elasticsearch:# 地址uris: http://xxx:9200# 用户…

软件设计师26--关系代数

软件设计师26--关系代数 考点1&#xff1a;关系模式相关概念例题&#xff1a; 考点1&#xff1a;关系模式相关概念 并∪&#xff1a;结果是两张表所有记录的合并&#xff0c;相同记录只显示一次。 交∩&#xff1a;结果是两张表中相同的记录。 差-&#xff1a;S1-S2&#xff0…

Python程序设计 字符类型及其操作

1. 提取身份证号性别 通过身份证的第17位也就是倒数第二位的数字可以辨别该身份证所属人的性别,奇数为男性,偶数为女性。 输入身份证号&#xff0c;第17位若是偶数&#xff0c;输出性别女&#xff0c;否则输出性别男 1.通过input()函数接收用户输入的身份证号&#xff0c;将其…

使用 Selenium 和 OpenCV 识别验证码(使用 Java)

验证码的自动识别对于爬虫来说是一个常见的挑战。在这篇文章中&#xff0c;我们将展示如何使用 Selenium 和 OpenCV&#xff0c;结合 Java&#xff0c;来自动化识别网站上的验证码。 配置 Maven 依赖 首先&#xff0c;我们需要在 Maven 项目中添加 Selenium 和 OpenCV 的依赖。…

代码随想录 day25

文章目录 回溯216.组合总和 |||思路代码 17.电话号码的字母组合思路代码 回溯 216.组合总和 ||| 216.组合总和 ||| 思路 和组合相同,稍微改变了恢复现场和判断结束的方法 代码 class Solution { private:vector<vector<int>> ans;vector<int> temp;int…

MySQL EXISTS 语句和IN语句有啥区别

在 MySQL 中&#xff0c;EXISTS 和 IN 是用于子查询的两种不同方式&#xff0c;它们有一些区别&#xff1a; 1. **IN 语句**&#xff1a; - IN 子句用于在 WHERE 子句中指定多个值&#xff0c;并检查主查询中的某个列是否在子查询返回的结果集中。 - IN 子句适用于子查询…

npm发布包至私有仓库

前提&#xff1a;使用verdaccio在服务器搭建好了私有仓库 1、登录至私服 npm adduser --registryhttp://xxx.xxx.x.xx:48732、发布npm包到私有仓库 修改package.json中的相关信息后 #cd 项目目录 npm publish --registryhttp://xxx.xxx.x.xx:4873登录至私服查看 3、在项目中…

性能分析-CPU知识

目录 CPU知识 cpu组成 查看cpu信息&#xff1a; top命令中 cpu相关&#xff1a; top命令看到系统负载&#xff1a; CPU负载 IO负载 上下文&#xff1a; CPU的寄存器和程序计数器----在cpu的控制器中 实战演示分析 top命令分析 arthas工具 进程上下文切换高的问题分析…

《MATLAB科研绘图与学术图表绘制从入门到精通》

解锁MATLAB科研绘图魅力&#xff0c;让数据可视化成为你的科研利器&#xff01; 1.零基础快速入门&#xff1a;软件操作实战案例图文、代码结合讲解&#xff0c;从入门到精通快速高效。 2.多种科研绘图方法&#xff1a;科研绘图基础变量图形极坐标图形3D图形地理信息可视化等&a…

redis和ElasticSearch和MongoDB应用场景,如何选择

Redis、Elasticsearch和MongoDB是三种不同类型的数据库&#xff0c;它们有各自的应用场景和特点。在选择时&#xff0c;需要考虑以下几个方面&#xff1a; 数据读写模式&#xff1a;Redis是基于内存的键值存储数据库&#xff0c;适用于高速读写场景&#xff0c;如缓存、计数器等…

pdf操作器(图片转文字、PDF转word、PDF拆分、图片jpg、png互转)

pdf操作器&#xff08;不用联网图片转文字、PDF转word、PDF拆分、图片jpg、png互转&#xff09;介绍目前该软件实现了以下功能 pdf转wordpdf拆分图片&#xff0c;图片导出在桌面的一个文件夹里图片合并为pdf压缩、转换图片格式&#xff08;jpg和png&#xff09;OCR图片转文字&…

【计算机网络经典面试题】简述 TCP 三次握手和四次挥手的过程

TCP链接 1.三次挥手2.四次挥手3.拓展说说 TCP 2次握手行不行&#xff1f;为什么要3次 1.三次挥手 1&#xff09;第一次握手&#xff1a;建立连接时&#xff0c;客户端向服务器发送SYN包&#xff08;seqx&#xff09;&#xff0c;请求建立连接&#xff0c;等待确认 2&#xff09…

LeetCode 670. 最大交换

相关思路 把num放到字符数组中&#xff0c;遍历所有交换两个数字的num&#xff0c;并且取出最大值。 相关代码 class Solution {public int maximumSwap(int num) {String s ""num;char a[] s.toCharArray();int maxnum;for(int i0;i<s.length();i){for(int …

C++中的vector与C语言中的数组的区别

C中的vector和C语言中的数组在很多方面都有所不同&#xff0c;以下是它们之间的一些主要区别&#xff1a; 大小可变性&#xff1a; vector是C标准模板库&#xff08;STL&#xff09;提供的动态数组容器&#xff0c;它的大小可以动态增长或减少。这意味着你可以在运行时添加或删…

【AIGC】HF-Mirror 使用说明(MacOS 版)

今天这篇文章主要是记录 HF-Mirror 的使用过程&#xff0c;官网上提供了 Linux 和 Windows 的使用方式。本人作为 MacOS 用户也将自己的使用办法记录一下&#xff0c;希望能够帮助到其他人。 HF-Mirror 是什么&#xff1f; HF-Mirror 是大神 padeoe 开源的 huggingface 镜像站…

CVE-2023-2928 DedeCMS 文件包含漏洞getshell 漏洞分析

DedeCMS&#xff08;也称为织梦CMS&#xff09;是一款基于PHPMySQL的开源内容管理系统。 在 DedeCMS 5.7.106 及之前的版本中发现一个漏洞。它已被宣布为关键。受此漏洞影响的是未知功能的文件uploads/dede/article_allowurl_edit.php。对参数 allurls 的操作会导致代码注入。…

解决前端性能瓶颈:高效处理大量数据渲染与复杂交互的策略与优化方法

✨✨祝屏幕前的小伙伴们每天都有好运相伴左右&#xff0c;一定要天天开心&#xff01;✨✨ &#x1f388;&#x1f388;作者主页&#xff1a; 喔的嘛呀&#x1f388;&#x1f388; 目录 引言 一、分页加载数据 二、虚拟滚动 三、懒加载 四、数据缓存 五、减少重绘和回流 …