【GPT-2】论文解读:Language Models are Unsupervised Multitask Learners

文章目录

    • 介绍
      • zero-shot learning 零样本学习
    • 方法
      • 数据
      • Input Representation
    • 结果

论文:Language Models are Unsupervised Multitask Learners
作者:Alec Radford, Jeff Wu, Rewon Child, D. Luan, Dario Amodei, I. Sutskever
时间:2019

介绍

GPT-2 是一个有15亿参数的模型,GPT-2的想法是转向一个通用的系统,不需要进行数据集的标注就可以执行许多的任务;

因为数据集的创建是很难的,我们很难继续将数据集的创建和目标的设计扩大到可能需要用现有的技术推动我们前进的程度。这促使我们去探索执行多任务学习的额外设置。

当前性能最好的语言模型系统是通过预训练模型和微调完成的,预训练主要是自注意力模块去识别字符串的语意,而微调主要是通过语意去得出不同的结果;这样一来,我们在执行不同的任务时,只需要替换掉微调的那部分结构就可以;

而GPT-2证实了语言模型能够在不进行任何参数和结构修改的情况下,拥有执行下游任务的能力,这种能力获取的主要方式是强化语言模型的 zero-shot

zero-shot learning 零样本学习

零样本学习也叫ZSL,通俗来讲就是说在训练集中并没有出现的y能够在测试集中识别出来;当然,如果不做任何处理我们是无法识别的,我们需要没有出现的y的信息来帮助我们识别y;通过上面的图我们可以知道,horse和donkey可以得出horselike,tiger和hyena可以得出stripe,penguin和panda 可以得出 black and white,这里我们可以通过zebra的描述信息可以得出horselike,stripe,black and white 的动物是斑马来训练模型,这样我们可以在测试集的时候识别出斑马;

这里有两篇比较详细的介绍:

零次学习(Zero-Shot Learning)入门 (zhihu.com)
零次学习(Zero-Shot Learning) - 知乎 (zhihu.com)

方法

首先介绍一下语言模型:

p ( x ) = p ( s 1 , s 2 , … , s n ) = ∏ i = 1 n p ( s n ∣ s 1 , … , s n − 1 ) p(x)=p(s_1,s_2,\dots,s_n)=\prod_{i=1}^{n}p(s_n|s_1,\dots,s_{n-1}) p(x)=p(s1,s2,,sn)=i=1np(sns1,,sn1)
其中 x x x是句子, s 1 , s 2 , … , s n s_1,s_2,\dots,s_n s1,s2,,sn 组成句子可能出现的词;

在经过预训练之后,我们在执行特定的任务时,我们需要对特定的输入有特定的输出,这时模型就变成了 p ( o u t p u t ∣ i n p u t ) p(output|input) p(outputinput) ;为了让模型更一般化,能执行不同的任务,我们需要对模型继续进行处理,变成了 p ( o u t p u t ∣ i n p u t , t a s k ) p(output|input, task) p(outputinput,task) ;

这样一来,我们需要对数据框架的形式进行一定的修改,如翻译任务我们可以写为

translate to french, english text , french text

阅读理解任务可以写为

answer the question, document, question, answer

语言模型在原则上来说是可以利用上面的框架进行无监督学习训练的;在训练过程中,由于最终的评价方式是一致的,所以监督学习和无监督学习的目标函数是一样的;唯一不同的是监督学习是在子集上进行评估损失,而无监督学习是在全局上评估损失,综合来说对全局不产生影响,因此无监督学习损失的全局最小值和有监督学习损失的全局最小值是一致的;

论文进行初步实验证实,足够多参数的模型能够在这种无监督训练方式中学习,但是学习要比有监督学习收敛要慢得多;

作者认为,对于有足够能力的语言模型来说,模型能够以某种方式识别出语言序列中的任务并且能够很好的执行它,如果语言模型能够做到这一点,那么就是在高效的执行无监督多任务学习;

数据

由于是多任务模型,需要构建尽可能大的和多样化的数据集,这里作者采用的是网络爬虫的方式进行解决;为了避免文档质量不高,这里只采集了经过人类策划/过滤后的网页,手动过滤是困难的,所以作者只采集了Reddit社交平台上信息;最后生成的数据集包含了4500万个链接的文本子集;文本是通过Dragnetnewspaper进行提取的,经过重复数据删除和一些启发式的清理,该链接包含近800万文档,共计40GB文本,并且删除了所有的维基百科文档,因为它是其他数据集的通用数据源,并且可能会由于过度-而使分析复杂化;

Input Representation

这里采用的是BPE编码方式,具体在[BPE]论文实现:Neural Machine Translation of Rare Words with Subword Units-CSDN博客可以详细了解;

结果

这里有ACC,PPL,BPC,BPB 四个指标:

详细可以看这篇文章:困惑度(perplexity)的基本概念及多种模型下的计算(N-gram, 主题模型, 神经网络) - 知乎 (zhihu.com)

ACC 指的是准确度: A C C = T P + T N T P + T N + F P + F N ACC=\frac{TP+TN}{TP+TN+FP+FN} ACC=TP+TN+FP+FNTP+TN

介绍后面的指标之前需要先介绍一下Cross entropy也就是交叉熵: H ( P , Q , s ) = − ∑ i = 1 n P ( x i ) l n Q ( x i ) H(P,Q,s)=-\sum_{i=1}^n P(x_i)lnQ(x_i) H(P,Q,s)=i=1nP(xi)lnQ(xi)
这里P指的是真实概率,Q指的是预测概率, x i x_i xi指的是每一个unit,而s由n个unit的 x i x_i xi组成,这里表示s这一句话的交叉熵;

PPL 指的是困惑度,也就是一句话出现的概率,句子出现的概率越大,困惑度越小: P P L = P ( x 1 , x 2 , … , x n ) − 1 N PPL=P(x_1,x_2,\dots,x_n)^{-\frac{1}{N}} PPL=P(x1,x2,,xn)N1
BPC,BPW和BPB 分别指的是bits-per-character, bits-per-word,bits-per-byte: B P C / B P W / B P B = 1 T ∑ t = 1 T H ( P , Q , s t ) BPC/BPW/BPB=\frac{1}{T}\sum_{t=1}^{T}H(P,Q,s_t) BPC/BPW/BPB=T1t=1TH(P,Q,st)
其不同就是在计算H的时候计算的分别是character,word,byte;主要在于分词;

由于PPL中P的特殊性,只有一个1,其余都是0,有公式如下:

B P C = − 1 T ∑ t = 1 T ∑ i = 1 n P ( c t i ) l n Q ( c t i ) = − 1 T ∑ t = 1 T l n Q ( s t ) = − 1 T l n P ( d o c u m e n t ) = l n P P L \begin{align} BPC & = -\frac{1}{T}\sum_{t=1}^T\sum_{i=1}^{n}P(c_{ti})lnQ(c_{ti}) \\ & = -\frac{1}{T}\sum_{t=1}^TlnQ(s_t) \\ & = -\frac{1}{T}lnP(document) \\ & = lnPPL \end{align} BPC=T1t=1Ti=1nP(cti)lnQ(cti)=T1t=1TlnQ(st)=T1lnP(document)=lnPPL

即有: P P L = e B P C PPL=e^{BPC} PPL=eBPC
从上图中可以看出GPT-2都表现出了不错的性能;

同时在儿童读物测试中 随着参数量的增加,性能都出现了一定的增强;

还有一些结果证实了无标注训练模型的能力,这里就不展示了,这篇文章证明了当一个大型语言模型在一个足够大和多样化的数据集上进行训练时,它能够在许多领域和数据集上表现良好。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/687484.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java.lang.NumberFormatException: For input string: “!“

文章目录 MyBatis XML文件查询报错&#xff1a;For input string: "!"原因调整办法OGNL表达式 MyBatis XML文件查询报错&#xff1a;For input string: “!” <if test"memberInfoDrawing.phone ! null and memberInfoDrawing.phone ! and memberInfoDrawi…

Hadoop-Yarn-NodeManager都做了什么

一、源码下载 下面是hadoop官方源码下载地址&#xff0c;我下载的是hadoop-3.2.4&#xff0c;那就一起来看下吧 Index of /dist/hadoop/core 二、上下文 在我的<Hadoop-Yarn-启动篇>博客中已经简要的分析了NodeManager的启动过程&#xff0c;NodeManager是管理整个集…

MongoDB聚合运算符:$add

$add运算符将将数字相加或将数字和日期相加。如果参数之一是日期&#xff0c;则 $add会将其他参数视为毫秒&#xff0c;并添加到日期中。 语法 { $add: [ <expression1>, <expression2>, ... ] }参数可以是任何有效的表达式&#xff0c;只要能否解析为数值或日期…

C++中.h与.hpp文件的差异问答

.h文件与.hpp文件在C编程中的区别主要基于约定和偏好&#xff0c;而不是C语言或其编译器强制执行的任何技术差异。以下是这些差异的概述&#xff1a; 约定&#xff1a; .h 文件&#xff1a;此扩展名源于C编程&#xff0c;表示头文件。它在C中常用于头文件&#xff0c;但不一定表…

AppSrv-配置故障转移(23国赛真题)

2023全国职业院校技能大赛网络系统管理赛项–模块B:服务部署(WindowServer2022) 文章目录 知识补充配置步骤验证故障转移配置页面。设置为“热备用服务器”模式。伙伴服务器“DC2”为“待机”状态。为备用服务器保留5%的地址。状态切换间隔为60分钟。启用身份验证,密码为“…

四种mfc140u.dll丢失的解决方法,有效恢复mfc140u.dll丢失

mfc140u.dll文件的重要性&#xff0c;当系统中出现mfc140u.dll丢失的情况时&#xff0c;可能会导致一系列问题和影响。因此&#xff0c;保持mfc140u.dll文件的完整性对于系统和应用程序的稳定运行至关重要。一旦出现mfc140u.dll文件丢失的情况&#xff0c;我们需要采取有效的方…

怎样录屏?掌握这些方法,让你轻松驾驭!

随着科技的进步&#xff0c;如今我们可以通过屏幕录制软件来记录我们的电脑屏幕活动。无论是为了分享游戏精彩瞬间&#xff0c;还是为了制作教程或演示&#xff0c;录屏都成为了许多人的需求。可是你知道怎样录屏才是最好的吗&#xff1f;接下来&#xff0c;本文将为您介绍三种…

前端面试必备八股文——HTMLCSS

HTML src和href的区别 src和href都是用来加载外部资源&#xff0c;区别如下 src当浏览器解析到该元素时&#xff0c;会暂停其他资源的加载和处理&#xff0c;直到该资源加载完成。 它会将资源内容嵌入到当前标签所在的位置&#xff0c;将其指向的资源下载应用到文档内&#…

Mybatis速成(一)

文章目录 Mybatis速成&#xff08;一&#xff09;前言1. 快速入门1.1 入门程序分析1.2 入门程序实现1.2.1 准备工作1.2.1.1 创建springboot工程1.2.1.2 数据准备 1.2.2 配置Mybatis1.2.3 编写SQL语句1.2.4 单元测试 1.3 解决SQL警告与提示 2. JDBC介绍(了解)2.1 介绍2.2 代码2.…

新概念英语第二册(65)

【New words and expressions】生词和短语&#xff08;9&#xff09; versus prep. 对 (对抗的概念) Christmas n. 圣诞节 circus n. 马戏团 present n. 礼物 accompany …

本地个性化聊天机器人CHAT WITH RTX

英伟达推出了自家版本的ChatGPT Chat With RTX 是一款演示应用程序&#xff0c;可让您个性化连接到您自己的内容&#xff08;文档、笔记、视频或其他数据&#xff09;的 GPT 大语言模型 (LLM)。利用检索增强生成 (RAG)、TensorRT-LLM和 RTX 加速&#xff0c;您可以查询自定义聊…

django定时任务(django-crontab)

目录 一&#xff1a;安装django-crontab&#xff1a; 二&#xff1a;添加django_crontab到你的INSTALLED_APPS设置&#xff1a; 三&#xff1a;运行crontab命令来创建或更新cron作业&#xff1a; 四&#xff1a;定义你的cron作业 五&#xff1a;创建你的管理命令&#xff…

《学成在线》微服务实战项目实操笔记系列(P92~P120)【下】

史上最详细《学成在线》项目实操笔记系列【下】&#xff0c;跟视频的每一P对应&#xff0c;全系列18万字&#xff0c;涵盖详细步骤与问题的解决方案。如果你操作到某一步卡壳&#xff0c;参考这篇&#xff0c;相信会带给你极大启发。 四、课程发布模块 4.1 (课程发布)模块需求…

待处理的研究内容

android是不是可以在子线程中更新UI 回答是可以的 android之所以不能在子线程中更新Ui是因为 requestLayout会重新测量布局&#xff0c;走了ViewRoot的一系列方法&#xff0c;也会走 ViewRootImp的requestLayout() public void requestLayout() {if (!mHandlingLayoutInLa…

【leetcode】深搜、暴搜、回溯、剪枝(C++)3

深搜、暴搜、回溯、剪枝&#xff08;C&#xff09;3 一、解数独1、题目描述2、代码3、解析 二、单词搜索1、题目描述2、代码3、解析 三、黄金矿工1、题目描述2、代码3、解析 四、不同路径III1、题目描述2、代码3、解析 一、解数独 1、题目描述 leetcode链接 2、代码 class…

三组I/O复用函数的比较

目录 事件集最大支持文件描述符数工作模式实现原理一图 这三组I/O复用系统调用&#xff0c;这三组系统调用都能同时监听多个文件描述符&#xff0c;它们将等待由timeout参数指定超时时间&#xff0c;知道一个或者多个文件描述上面有事件发生时候返回&#xff0c;返回的就是就绪…

AIGC ChatGPT4 教你如何完成业务需求SQL的编写

源表字段与数据信息为&#xff1a; 需求&#xff1a;现需要统计各部门各岗位下的平均工资 &#xff0c;将员工工资大于本岗位下平均工资的员工信息显示出来。 如Prompt: 有一个某公司职员表&#xff0c;表名为Bank_emp&#xff0c;empno为员工编号&#xff0c;ename为员工姓名…

如果很穷,不妨试一下这个副业,搞钱最快的副业!

前言 相信每一位学习计算机的朋友都想利用自己所学的知识赚点生活费&#xff0c;我也不例外&#xff0c;哈哈哈&#xff0c;学了这么多年&#xff0c;总得让它发挥点价值不是吗。今天就跟大家分享一下我的真实经历&#xff0c;我是如何利用python兼职实现月收入破万的。下面是…

实战 | 使用CNN和OpenCV实现数字识别项目(步骤 + 源码)

导 读 本文主要介绍使用CNN和OpenCV实现数字识别项目,含详细步骤和源码。 前 言 在当今世界,深度学习和图像处理技术正在各个应用领域得到利用。在这篇博文中,我们将使用卷积神经网络 (CNN) 和 OpenCV 库完成数字识别项目。我们将逐步掌握该项目如何执行。 项目准…