Ilya Sutskever:师从Hinton,“驱逐”奥特曼,一个改变AI世界的天才科学

ChatGPT 已经在全球爆火,但大众在两周之前似乎更熟悉Sam Altman,而对另一位创始人 Ilya Sutskever 却了解不多。

直到前几天因为OpenA眼花缭乱的政权争夺大戏,OpenAI 的首席科学家Ilya Sutskever的名字逐渐被世人所知。

Ilya Sutskever在科学和工程实现上为ChatGPT的诞生做出了巨大贡献,可谓是ChatGPT的发明人。然而,也许是因为Sam Altman是负责搞融资和商业化的CEO,也许是因为 Altman 的名字总是被国内媒体翻译为“奥特曼”,他的激进的作风更能引起国内社交媒体的关注,这使得Altman被冠上了“ChatGPT之父”的称号。

那么究竟谁才是真正的ChatGPT之父呢?知乎上有网友专门为此展开了争论。

这里暂且放下争论,其实少了Ilya Sutskever和Sam Altman任何一人,都没有现如今的 ChatGPT 和OpenAI,但如果没有Ilya Sutskever在AI领域中的诸多突破与成就,一定不会有现在ChatGPT 的出现。

今天,我们先不谈“Altman”,而是着重回顾 Ilya Sutskever 的故事。看看他是如何凭借着他的聪明才华一步步从普通人成为 AI 界的一代传奇人物!

▲Ilya Sutskever 手绘像,来源为 JourneyMatters

1986—2002年:早年生活和教育

Ilya 于 1986 年出生在苏联,5 岁时搬到耶路撒冷生活,自幼对计算机产生浓厚兴趣,从 7 岁时就开始自学编程。之后,在以色列开放大学学习了一段时间后,16 岁那年再次搬家去了加拿大,转而在多伦多大学读书,据说他在新家的第一件事就是去多伦多公共图书馆找一本关于机器学习的书。

从那时起,Ilya 对人工智能的热情日益加深,他决定将构建通用人工智能(AGI)设定为自己的主要目标

大模型研究测试传送门

GPT-4传送门(免墙,可直接测试,遇浏览器警告点高级/继续访问即可):
http://hujiaoai.cn

2003年:拜入深度学习之父Hiton门下

在学术生涯中,**对 Ilya 影响最大的人莫过于他的老师:Geoffrey Hinton——被誉为深度学习之父的那个男人。

2003年,还在就读本科的 Ilya 每天都会敲Hinton的门,希望能被接纳进实验室。在读了几篇论文后,他在深度学习领域的思考与 Hinton 教授的思想发生了碰撞,引起了 Hinton 教授对 Ilya 独特之处的认识:他有能力发现那些其他人可能需要数年才能发现的东西。

尽管当时正值人工智能领域的寒冬,研究者们对人工智能的兴趣逐渐下降,但 Hinton 教授还是决定接纳Ilya进入他的实验室。

2005 年,Ilya 在多伦多大学获得数学学士学位,2007 年获得计算机科学硕士学位,2013 年获得计算机科学博士学位。

2012年:图像识别领域的革命—— AlexNet

或许你听说过 AlexNet 与 Hiton或 Alex的关系,但你可能没有注意到它与Ilya之间也有着关联。

当时正值人工智能的低谷期,Hinton 的神经网络理念并没有被同期的 AI 研究者们广泛接受,这让他们面临了巨大的压力。然而,他们并没有因此而退缩,反而更加坚定了他们的信念。

2012 年,ImageNet 大赛为他们提供了证明自己的机会——看谁能设计出最优秀的图像识别算法,成功识别出更多的图像。

Hinton带着他的两位学生 Ilya Sutskever 和 Alex Krizhevsky 在这次大赛中发明了AlexNet,他们摒弃了传统的手工设计解决方案,而是使用了深度神经网络并在 GPU 上训练它们

从左到右:IIya Sutskever、Alex Krizhevsky、Geoffrey Hinton

AlexNet 突破了75% 的准确度,远远超越了所有竞争对手,向大家展示了深度学习的巨大潜力,也标志着深度学习革命的开端。

由他们三人共同撰写的 AlexNet 论文至今引用量已超过 6 万次,成为计算机科学领域引用最多的论文之一,而当时的 Ilya 才只有 26 岁。

2013年:从 DNNResearch 到加入谷歌

在这场竞赛后,三人共同创办了一家名为 DNNResearch 的公司,然而,该公司并没有推出任何产品,也没有明确的发展计划。随后,包括百度、谷歌、微软和 DeepMind 在内的四家公司参与了竞标收购。仅仅过去了4个月,谷歌在 2013 年 3 月以 4400 万美元的金额收购了 DNNResearch,并聘请 Ilya 担任 Google Brain 的研究科学家。

在 Google Brain 工作期间,Ilya 参与了许多后来惊艳世人的工作,比如与 Demis Hassabis 和 David Silver 等人共事,参与AlphaGo的核心工作。

此外,他还积极参与了 TensorFlow 的开发,造福了众多深度学习研究人员。

曾一起共事的同事称,“Ilya 是个无所畏惧的人。”

在这个阶段,Ilya 的愿景变得更加宏大——开始坚信通用人工智能(AGI)近在咫尺。

2014年:机器翻译的革命—— Sequence-to-Sequence

在谷歌工作期间,Ilya 发明了一种用于将英语翻译成法语的变体神经网络。他提出的序列到序列学习方法捕捉输入的时序结构(如英语句子)并将其映射到具有时序结构的输出(如法语句子)。

当时的研究者们并不相信神经网络能够进行翻译工作,而他的发明击败了表现最佳的翻译器,并促使谷歌翻译重大升级,让机器翻译领域从此焕然一新,也自此引起了自然语言领域的研究新热潮。

没错,这背后的就是序列到序列学习(Sequence-to-Sequence Learning)算法。

这对后来Transformer 的诞生也做出了重要贡献。

2015年:联合创建OpenAI,开启新篇章

谷歌在 AI 领域一直处于领先地位,而 Ilya 作为备受重视的研究人员,有天收到了一封来自 Sam Altman 的邀约。他赴约去与 Sam Altman、Greg Brockman 和 Elon Musk 等人共同讨论人工智能的未来,畅想未来可能发生的事情,以及他们是否能够采取一些积极措施来影响人工智能的发展。

就在这场聚会中,OpenAI 的创始理念首次被明确提出——“利用人工智能造福全人类,并以负责任的方式推动人工智能的发展”,这激发了所有参与者的期待和激情。然而,当时 Ilya 还在谷歌工作,对于是否加入 OpenAI 的问题犹豫不决。最终,在多次思考和马斯克等人的劝说下,Ilya 决定放弃在谷歌数百万美元的工作机会,成为非营利组织 OpenAI 的联合创始人,并担任研究总监。

▲Sam Altman 与 Ilya Sutskever

OpenAI 的早期发展并不顺利,作为非营利组织,寻找投资人成为一项艰巨的任务。然而,马斯克等人决定向该项目投入 10 亿美元,这使得 OpenAI 能够聘用领域内的优秀人才,并取得了一些重要突破。但是这些发展也付出了昂贵代价——每个月需要在云计算上花费数百万美元,而且还需要从其最大的竞争对手谷歌那里租用计算能力。

马斯克曾是OpenAI 的董事会成员,在 2018 年因与特斯拉发生利益冲突而选择离开,这一度使得 OpenAI 面临严重的资金问题。在如此困境下,Sam 试图利用他的人脉寻找新投资者,但由于 OpenAI 是个非营利组织,需要的资金过多,几番尝试并未成功。他们必须迅速找到解决方案,否则所有努力都将付诸东流。

在这个关键时刻,微软的 CEO 同意与他们会面,会议结果改变了 OpenAI 的窘境。Sam 成功说服了微软投资 10 亿美元,并获得了使用 Azure 云计算平台的权限。这样,OpenAI 就不再需要向谷歌支付费用,而微软转而成为他们的重要合作伙伴。

2018-2020:GPT-1~3 的发展

GPT 模型的每一次迭代都代表了自然语言处理领域的重大进展:

  • GPT-1(2018):这是该系列的首个模型。其关键创新之一是采用了无监督的预训练方法,经过对大规模互联网文本数据集的训练,通过学习根据前面的单词上下文来预测句子中的单词,使模型能够深入理解语言结构并生成类似于人类的文本。

  • GPT-2(2019):在 GPT-1 的成功基础上构建,采用更大的数据集训练,生成更为强大的模型。GPT-2 的一项重大进展是其能够在各种主题上生成连贯而流畅的段落文本,使其成为无监督语言理解和生成任务中的关键参与者。

  • GPT-3(2020):在规模和性能上都取得了显著突破。GPT-3 拥有当时震惊世人的 1750 亿参数,在众多语言任务上取得了最先进的性能,在问答、机器翻译和摘要生成等能力上可以媲美人类水平。此外,它还展示了执行简单编码任务、撰写连贯新闻文章甚至是诗歌的能力。

▲GPT 架构

在微软的支持和 Ilya 等人的领导下,OpenAI 的研究人员在 2018 年创建了原始的 GPT 模型。一年后,他们又发布了 GPT-2,这个新模型展示了大型语言模型的巨大潜力,但同时也引发了 AI 社区的不满,因为 OpenAI 不再是一个非营利实体,而且开源作品越来越少。

然而,尽管面临争议,OpenAI 仍取得了显著的研究成果。2020 年,他们发布了GPT-3,使得OpenAI到达一个重要转折点。尽管 GPT-3 的性能出色,但它并没有引起太多关注。为了让更多的人能够使用 GPT-3,Sam 说服了另外两位创始人,提出了用户友好界面的想法。

2021年: 对 DALL-E 1 的研究

Ilya 总是走在创新前沿,2020 年 6 月,OpenAI 提出了新概念—— Image GPT,旨在利用神经网络依据用户的文本指令生成新的高质量图片,而 DALL-E 便是实现了该想法的杰作。

在 Ilya 的领导下,OpenAI 团队创造出了由AI驱动的图像生成模型 DALL-E ,采用与 GPT 模型类似的架构和训练过程,可以根据用户的文本输入生成各种风格的图像

DALL-E 的发展与设计过程对后来的模型(如 DALL-E 2 和 MidJourney)都具有指导作用,它的成功为推动多模态领域的研究和创新奠定了基础。

2022年:ChatGPT 的诞生与发展

随后,OpenAI 的研究团队对 GPT-3 模型进一步改进,并将新模型命名为 GPT-3.5,采用了最简单的用户界面。由此,语言模型的不断发展促使了 ChatGPT 在 2022 年 11 月 30 日诞生。如今,又衍生出升级版本 GPT-4,再次将生成式人工智能的成就推向一个新高度。

正如 Sam 的先前所说的那样,这一切引发了世界范围内的 AI 变革。在短短的五天内,ChatGPT 吸引了逾百万用户注册使用,创下了产品史上用户增长最快的记录。包括 ChatGPT 的创造者在内,所有人都对这一产品的成功感到震惊。

在 OpenAI 的发展过程中,Ilya 不仅关心技术创新,而且认真对待潜在的风险,他格外关注人工智能的安全性,并在公司内积极为人工智能系统的安全性分配更多资源。他领导着公司的 Superalignment 团队,专注于管理人工智能带来的潜在风险。为实现这一目标,将公司计算能力 20% 的资源用于解决与人工智能安全性相关的问题

这又将我们带回了他与 Sam 的冲突上,Ilya 的谨慎立场显然与 Sam 更为激进的做法产生了分歧,后者倾向于更快地推进开发强大的人工智能,事态随后发展到 OpenAI 董事会成员策划撤职 Sam Altman,用似乎更为稳重的 Emmett Shear 替代他。但随之另一位联合创始人 Greg 也宣布辞职,同时 700 多名员工联名声讨董事会,仅仅几天后,Sam 又回到了 OpenAI……

总结

在吃瓜之余,抛开 ChatGPT 的诞生与成长来说,Ilya 对整个人工智能领域也有着重要影响。

在过去的十多年里,Ilya 立足于人工智能变革的前沿,其每个阶段的成果都可能是我们一生也无法企及的高度

Ilya 参与或主导的工作一度改变了计算机视觉领域、机器翻译甚至自然语言处理领域的研究进程,其研究工作被引用超过 42.7 万次,成为引用量最多的计算机科学家之一。在 2015 年,MIT还将他列为全球 35 位最重要的创新者之一,时代杂志也将他评为最具影响力的人物之一。

或许有朝一日,当AGI真正改变世界的时候,Ilya 将会被誉为历史上最重要的科学家之一,在人工智能领域的贡献也将会被所有人熟知。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/186518.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深入了解 Python 集合:操作、实现原理与应用场景

基本概念 在Python中,集合(Set)是一种无序、可变且不包含重复元素的数据结构。集合的创建使用花括号 {} 或者 set() 构造函数。例如: my_set {1, 2, 3}集合中的元素是唯一的,这意味着无论你添加多少次同一个元素&…

STM32 CUBEIDE Outline is disabled due to scalability mode

项目场景: 问题描述 Outline is disabled due to scalability mode 看不到函数 解决方案:

继承中的析构函数的权限的深入了解

如果一个父类中的析构函数如果设置为 private 权限 ,一个子类public继承了这个父类,那么 这个父类可以创建对象吗? 答案是 不可以 看看下面的代码 class A { public:private:~A() {} };class B :public A {A a; // 这个地方编译不报错&…

【CAN通信】CanIf模块详细介绍

目录 1.内容简介 2.CanIf详细设计 2.1 CanIf功能简介 2.2 一些关键概念 2.3依赖的上下层模块 2.4 功能详细设计 2.4.1 Hardware object handles 2.4.2 Static L-PDUs 2.4.3 Dynamic L-PDUs 2.4.4 Dynamic Transmit L-PDUs 2.4.5 Dynamic receive L-PDUs 2.4.6Physi…

PostGIS学习教程八:空间关系

PostGIS学习教程八:空间关系 到目前为止,我们只使用了测量(ST_Area、ST_Length)、序列化(ST_GeomFromText)或者反序列化(ST_AsGML)几何图形(geometry)的空间…

利用 Golang 中的 Recover 处理错误

关注公众号【爱发白日梦的后端】分享技术干货、读书笔记、开源项目、实战经验、高效开发工具等,您的关注将是我的更新动力! Golang 中的 recover 是一个鲜为人知但非常有趣和强大的功能。让我们看看它是如何工作的,以及在 Outreach.io 中如何…

I Hate Non-integer Number,(线性dp,计数类)

D - I Hate Non-integer Number (atcoder.jp) Problem Statement You are given a sequence of positive integers A(a1​,…,aN​) of length N. There are (2N−1) ways to choose one or more terms of A. How many of them have an integer-valued average? Find the co…

【MATLAB】异常数据识别

基于分位数的异常点识别 首先,给定了一个原始数据序列x。然后,计算了序列x的上四分位数和下四分位数,并根据这两个值计算了异常点的阈值。上四分位数减去1.5倍的四分位数范围得到异常值下界,下四分位数加上1.5倍的四分位数范围得…

运行新vue3项目

一,下载node并安装 官网:https://nodejs.org/en/ 查看版本: node -v二,cd进入到vue3项目目录 cd D:\Program-space\HBuilderXProject\Vue3project三,npm install npm install四,查看安装 npm list五&a…

YoloV5改进策略:AKConv即插即用,轻松涨点

文章目录 摘要论文:《AKConv:具有任意采样形状和任意数目参数的卷积核》1、引言2、相关工作3、方法3.1、定义初始采样位置3.2、可变卷积操作3.3、扩展AKConv4、实验4.1、在COCO2017上的目标检测实验4.2、在VOC 7+12上的目标检测实验4.3、在VisDrone-DET2021上的目标检测实验4…

解析生效探测方法

linux dig命令 1.最常用的查询命令 dig baidu.com2 . 根据记录类型进行查询,比如MX,CNAME,NS,PTR等,只需将类型加在命令后面即可。 dig a.shifen.com ns3 . 指定域名DNS服务器测试解析是否生效的命令,以…

centos8 下载

下载网址 Download 直接下载地址 https://mirrors.cqu.edu.cn/CentOS/8-stream/isos/x86_64/CentOS-Stream-8-20231127.0-x86_64-dvd1.iso 这个版本安装的时候方便

一个函数最好只做一件事?未必!这是一个例子

编程实践中,为了模块化设计,降低程序的复杂度,提高程序的可读性,通常设计一个函数时应尽可能简单,简单到只做一件事。然而,工程实践中,有时候受制于一些因素,如内存空间、程序执行效…

大数据Doris(二十九):数据导入(Insert Into)

文章目录 数据导入(Insert Into) 一、​​​​​​​创建导入

算法通关村第五关—Hash基础知识(青铜)

Hash基础 一、Hash的概念和基本特征 哈希(Hash)也称为散列,就是把任意长度的输入,通过散列算法,变换成固定长度的输出,这个输出值就是散列值。很多人可能想不明白,这里的映射到底是啥意思,为啥访问的时间…

MetricBeat安装使用

目录 一、环境准备 二、安装部署 2.1 下载安装包到指定文件夹,并解压 2.2 复制证书文件 2.3 编辑配置文件 2.3 监控系统使用情况 2.3 启动服务 2.3 查看监控信息 一、环境准备 部署模式:单节点部署。监控的服务在哪个机器上则在哪个机器上部署 安…

基于SpringBoot的旅游网站的设计与实现

摘 要 随着科学技术的飞速发展,各行各业都在努力与现代先进技术接轨,通过科技手段提高自身的优势,旅游网站当然也不能排除在外,随着旅游网站的不断成熟,它彻底改变了过去传统的旅游网站方式,不仅使旅游管理…

支持中文,性能超GPT-4!为开发人员而生的 AI 搜索引擎

生成式AI代码开发平台Phind在官网发布了最新V7版本,性能方面超越GPT-4,运行效率提升了5倍,并且支持中文和16K超长上下文。 据悉,Phind V7是基于Phind的开源代码模型CodeLlama-34B V2,以及700亿个高质量代码和推理问题…

对话框、内部控件位置

一、了解下几个函数 1、movewindow 了解下:MoveWindow 自己塞进去的是屏幕坐标 CrvtFaultRodDlg* dlg new CrvtFaultRodDlg();if (dlg ! NULL){BOOL ret dlg->Create(IDD_DlgCrvtFaultRod, NULL);if (ret) //Create failed.{RECT rect;{RECT rect1;dlg->…

企业数字化转型应对传统网络挑战的关键策略

数字化变革正在以前所未有的速度和规模改变着我们的生活和工作方式,使得传统网络架构面临着巨大的挑战。其中包括带宽需求增加、多云应用增加、安全威胁增加以及传统网络设备无法满足需求等问题。 数字化时代需要更高速、更可靠、更安全的网络支持,传统网…