GPT-2大战GPT-3:OpenAI内部的一场终极对决

作者:Kevin Vu

译者:Sambodhi

策划:刘燕

由于在训练过程中使用的数据集的多样性,我们可以为来自不同领域的文本获得足够的文本生成。GPT-2 的参数和数据是其前代 GPT 的 10 倍。而 GPT-3 又是 GPT-2 的 10 倍。那么问题来了,应该选择那个 Transformer 呢?

我应该选哪个 Transformer:GPT-2 还是 GPT-3

生成式预训练 Transformer(GPT)是 OpenAI 开发在自然语言处理(NLP)领域的创新之举。这些模型被认为是同类模型中最先进的,甚至在坏人手中也可能是很危险的。它是一种无监督的生成模型,也就是说,它接收句子等输入信息,并尝试生成一个适当的响应,而用于其训练的数据是不带标签的。

GPT-2 是什么?

GPT-2 是 OpenAI 在 2019 年 2 月创建的一种基于 Transformer 的无监督深度学习语言模型,其目的只有一个,就是预测句子中的下一个单词。GPT-2 是“Generative Pretrained Transformer 2”的缩写。该模型是开源的,在超过 15 亿个参数上进行训练,以便为给定句子生成下一个文本序列。

由于在训练过程中所用数据集的多样性,我们能够获取足够的来自不同领域的文本生成。而 GPT-2 的参数和数据是其前代 GPT 的 10 倍。

语言任务,如阅读、摘要和翻译,可以通过 GPT-2 学习原始文本,而不需要使用特定领域的训练数据。

自然语言处理的一些局限性

当处理自然语言生成时,必须考虑到某些局限性。它是一个非常活跃的研究领域,但它还处于起步阶段,还不能克服它的局限性。限制条件包括重复的文本,对技术性和专业性很强的主题的误解,以及对上下文短语的误解。

语言和语言学是一个复杂而庞大的领域,通常需要人们经过多年的训练和接触,不仅包括理解词语的含义,而且还包括上下文如何构成句子、如何给出答案以及使用恰当的俚语。它还可以为不同的领域创建自定义和可扩展的模型。OpenAI 提供的一个例子就是使用 Amazon Reviews 数据集来训练 GPT-2,并教授模型如何根据星级和类别等为条件编写评论。

GPT-3 是什么?

简而言之,GPT-3 就是“生成式预训练 Transformer”,它是 GPT-2 的第 3 个发行版,也是一个升级版。第 3 版将 GPT 模型提升到了一个全新的高度,因为它的训练参数达到了 1750 亿个(这是前代 GPT-2 的 10 倍以上)。

GPT-3 是在一个名为“Common Crawl”的开源数据集上进行训练的,还有来自 OpenAI 的其他文本,如维基百科(Wikipedia)条目。

GPT-3 的创建是为了比 GPT-2 更强大,因为它能够处理更多的特定主题。GPT-2 在接受音乐和讲故事等专业领域的任务时表现不佳,这是众所周知的。现在,GPT-3 可以更进一步地完成诸如答题、写论文、文本摘要、语言翻译和生成计算机代码等任务。它能够生成计算机代码,本身就已经是一个重大的壮举了。你可以 在这里查看一些 GPT-3 的例子。

长期以来,很多程序员都在担心被人工智能所取代,而现在看来,这一担心正在成为现实。随着 Deepfake 视频的普及,由人工智能驱动的语音和文字也开始模仿人类。不久,当你打电话或在网上交流时(例如聊天应用),可能很难判断你是在和真人交谈还是与人工智能交谈。

GPT-3 可称为序列文本预测模型

虽然它仍然是一种语言预测模型,但更精确的描述可能是一种序列文本预测模型。GPT-3 的算法结构已被认为是同类模型中最先进的,因为它使用了大量的预训练数据。

GPT-3 通过语义学的方法理解语言的含义,并尝试输出一个有意义的句子给用户,从而在接受输入后生成句子。因为不使用标签化的数据,模型就不会知道什么是对的,什么是错的,这是一种无监督学习。

因为这些模型可以自动完成许多基于语言的任务,所以当用户使用聊天机器人与公司进行通信时,它们就变得越来越知名和流行。GPT-3 目前处于私有 beta 测试阶段,这意味着如果用户想要使用这个模型,他们必须登录到等待列表中。它作为通过云访问的 API 提供。现在看来,这些模型只适用于那些拥有 GPT 模型资源的个人 / 企业。

当我们给出 “I want to go output to play so I went to the____”的句子时,可以看到这种模式在发挥作用的一个例子。在这个例子中,一个好的响应可以是诸如 park 或 playground 之类的,而不是诸如 car wash 之类的。

因此,在提示文本的条件下,park 或 playground 的概率高于 car wash 的概率。当模型被训练时,它被输入数百万个样本文本选项,并将其转换为数字向量表示。这是一种数据压缩的形式,模型用它把文本转换成有效的句子。压缩和解压的过程可以提高模型计算词的条件概率的准确性。它开启了一个充满可能性的全新世界,但也有其局限性。

GPT-2 和 GPT-3 的一些局限性

尽管生成式预训练 Transformer 在人工智能竞赛中是一个伟大的里程碑,但是它没有能力处理复杂和冗长的语言形式。举例来说,如果你想像一个句子或一段包含文学、金融或医学等专业领域的词汇,如果事先没有进行足够的训练,模型就不能做出恰当的反应。

鉴于计算资源和功耗的巨大需求,在当前情况下,这并非一种可行的大众解决方案。数十亿的参数需要大量计算资源才能运行和训练。

那又是一个黑盒模式。在一个业务环境中,用户最需要的是理解下面的过程。目前 GPT-3 仍不能向公众开放,因为只有少数人可以独占。潜在的使用者必须登记他们的兴趣,并等待邀请,这样才能亲自测试模型。这么做是为了防止滥用如此强大的模型。一种可以复制人类语言模式的算法,对于整个社会来说有很多道德意义。

GPT-3 优于 GPT-2

由于 GPT-3 更强的性能和明显更多的参数,它包含了更多的主题文本,显然比它的前代要好。这一模型非常先进,即便存在局限性, OpenAI 仍然决定保持其安全性,并仅发布给提交推理使用这一模式的选定个人。最后,他们可能会考虑将其作为 API 发布,这样就可以控制请求,并最小化对模型的滥用。

另外需要注意的是:微软在 2020 年 9 月宣布了 GPT-3 的“独家”使用许可;其他人仍然可以使用公共 API 来接收输出,但只有微软自己拥有源代码的控制权。由于这个原因,EleutherAI 一直在研究它自己的基于 Transformer 的语言模型,这种模型是根据 GPT 架构松散地设计的。他们的目标之一是使用自己的 GPT-Neo 来复制一个 GPT-3 规模的模型,并将其免费开源给公众。你可以 在这里查看 GitHub repo 上的 GPT-Neo 进展。

人工智能在对语言生成领域造成致命一击之前,还有很长的路要走,因为这些模型还不能完善人类语言的细微差别。需要学习处理的任务的精确度和类型仍比当前的能力要高。但是,新的 GPT 模型的快速发展,使得下一个重大突破可能就在眼前。

 作者介绍:

Kevin Vu,管理 Exxact Corp 博客,并与许多有才华的写手合作,他们都撰写深度学习的不同方面。

原文链接:

https://www.exxactcorp.com/blog/Deep-Learning/gpt2-vs-gpt3-the-openai-showdown

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/485106.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AI解梦成为现实,贝尔实验室新算法尝试找到梦境的隐藏含义

文章来源: 学术头条古代巴比伦人认为梦境包含了预言,而古埃及人则将梦境视为神灵给予的信息来崇拜。在 19 世纪 90 年代,西格蒙德弗洛伊德(Sigmund Freud)为梦境里面的人物、物体和场景分配了象征意义,并着…

个人项目:wc程序(java)

Github项目地址:https://github.com/jat0824/wc.git 项目相关要求 wc.exe 是一个常见的工具,它能统计文本文件的字符数、单词数和行数。这个项目要求写一个命令行程序,模仿已有wc.exe 的功能,并加以扩充,给出某程序设计…

【剑指offer】面试题35:复杂链表的复制(Java)

请实现 copyRandomList 函数,复制一个复杂链表。在复杂链表中,每个节点除了有一个 next 指针指向下一个节点,还有一个 random 指针指向链表中的任意节点或者 null。 示例 1: 输入:head [[7,null],[13,0],[11,4],[10,2…

【综述专栏】图神经网络综述

来源:图灵人工智能作者:王健宗等https://wwwihcm/people/euu-lin-jun-7原文链接:https://kns.cnki.net/kcms/detail/31.1289.tp.20201123.1641.002.html摘要:随着计算机行业和互联网时代的不断发展与进步,图神经网络已…

HDFS设计思想

HDFS设计思想 DataNode:用来在磁盘上存储数据 HDFS 数据存储单元( block ) 1 文件被切分成固定大小的数据block块 •默认数据块大小为 64MB(hadoop1.x版本64M,2.x为128M) ,可配置 •若文件大小不到 64MB &#xff…

被认为是世界史上50个最伟大的发明有哪些?

来源:数学中国根据美国《大西洋月刊》杂志邀请了世界上12位科学家、技术史专家、工程师、企业高管组成的专家团为世界遴选自车轮(车轮的广泛使用一般被认为始于6000年前)问世后的50个最伟大的发明。其中,中国的四大发明均在其中。…

“NP问题是可计算的吗?” - 从“可计算性”的角度审视NP

来源:图灵人工智能转自 http://blog.sciencenet.cn/u/liuyu2205P vs NP世纪难题显示出在现有的计算机理论中存在着令人不安的困惑:一方面,书本中的NP问题理论部份无论是学习或教学都感到困难,以至于人们不得不一次又一次回头去重新…

GPT-3和AlphaFold 2震撼2020,2021年AI最大看点在哪儿?

来源:机器学习研究组订阅2020年并不缺重磅新闻,但人工智能依然够杀出重围,走进主流视野。尤其是GPT-3,它展示了人工智能即将以全新的方式深入我们的日常生活。这些进步赋予了未来很多可能,预测未来变得并不容易&#x…

宇宙与无限之谜

文:Alan Lightman译:Sue校对:Rachel在博尔赫斯(Jorge Luis Borges)的《沙之书》(The Book of Sand)中,一个神秘的传教者敲开了故事主人公的门,想要卖给他一本圣书。这本书…

微软、IBM们的中国研究院是怎样一步步“躺平”的?

来源: 脑极体IBM中国研究院关闭的消息,又让大家想起了曾经甲骨文、微软、Adobe等外企研究机构离华的新闻。从上世纪末本世纪初来华,十多年情缘突然宣告分手,固然是遗憾的,也更令人好奇背后的原因。公司业绩表现不佳、研…

斯坦福 AI 课程 10 年发展史

作者:Rachel Oh 、Peter Maldonado转自:机器之心编辑:杜伟、小舟在人工智能领域,斯坦福大学的很多课程都颇受欢迎,如 CS 224N 深度学习自然语言处理和 CS 229 机器学习。这些课程如何一步步发展成为今天的热门课程&…

6G技术长啥样?5大趋势,13个核心技术2030年落地

来源:智东西5G已经展开了全面商用,随着5G在垂直行业的不断渗透,人们对于6G的设想也逐步提上日程。面向2030, 6G将在5G基础上全面支持整个世界的数字化,并结合人工智能等技术的发展,实现智慧的泛在可取、全面赋能万事万…

微积分的未来:DNA、非线性、混沌、复杂系统与人工智能

导语微积分是人类历史上的伟大思想成就之一,也是数学领域不可或缺的一个重要分支。如果没有微积分,人类就不可能发明电视、微波炉、移动电话、GPS、激光视力矫正手术、孕妇超声检查,也不可能发现冥王星、破解人类基因组、治疗艾滋病&#xff…

美国防部官员讨论量子科学、5G和定向能的发展

来源:国防科技要闻3月8日,美国防部国防研究与工程办公室负责现代化建设的三名官员在国防工业协会太平洋作战科技虚拟会议上讨论了量子科学、5G和定向能的发展。量子科学量子科学主要负责人保罗洛帕塔表示,国防部在过去的二三十年里一直在进行…

9-18 学习如何使用Python包的管理

前提是安装好Anaconda 1.如何安装一个包 这里的语句 package_name为包的名字 例如 你可以在cmd窗口下输入 按下回车后 系统将会进行安装numpy包。 你也可以同时安装多个包,比如同时安装numpy、scipy、pandas包。 命令如下 注:numpy:是Python的…

AR行业发展现状:定义、技术原理及商业价值

文章来源:AR工业应用资料源自网络《Pokemon Go》这款游戏能够大火,除了一个好的IP之外。AR技术也功不可没。而在AR发光之后,什么是AR?它的技术原理是怎么样的,它能够具备哪些商业价值?希望通过这篇文章&…

基础学科如何不再“又难又穷”

来源:光明日报投身基础学科意味着什么——“奉献”“冷板凳”“异常艰苦”……也许,这是横亘在数十年间,大学生选报志愿时对“基础学科”的“刻板印象”。在知乎、豆瓣等大学生汇集的社交网站上,谈到基础学科,一位叫刘…

2021年阿贝尔奖公布!理论计算机科学和离散数学领域学者获奖

来源:前瞻网3月17日,2021年阿贝尔奖揭晓。挪威科学和文学院决定将2021年阿贝尔奖授予来自匈牙利,布达佩斯罗兰大学的Lszl Lovsz 和来自美国,普林斯顿高等研究院的 Avi Wigderson,以表彰两位科学家在理论计算机科学和离…

path环境变量丢失恢复

path环境变量不小心丢失,查询到的恢复方法记录一下 WindowsR键,打开:regedit后点击确定按钮 依次按照这个步骤找到path,鼠标右键修改,复制值到path环境变量中就可以了 转载于:https://www.cnblogs.com/liangcl/p/96797…

GPU深度报告,三大巨头,十四个国内玩家一文看懂【物联网智商精选】

来源: 智东西编辑:智东西内参关于GPU,你想知道的都在这里了。GPU是Graphics Processing Unit(图形处理器)的简称,它是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等&#xff0…