「反向传播非你原创」,Jürgen发文直指Hinton不应获2019本田奖

来源:机器之心

LSTM 之父 Jürgen Schmidhuber 再次掀起争论,这回他指向了深度学习之父、图灵奖得主 Geoffrey Hinton。不过,这次他站出来质疑的是 Hinton 的最新奖项——本田奖。

创立于 1980 年的本田奖旨在表彰「为引领生态技术领域的下一代新知识而做出贡献的个人或团体」。2019 年,Geoffrey Hinton 获得本田奖,获奖理由是「为将人工智能(AI)广泛应用于多个领域所做的先驱性研究以及实用化推进」。

然而,昨日计算机科学家 Jürgen Schmidhuber 发文批判这一事件,认为 Hinton 不应该获得该奖项。他表示「不要把发明者弄错人了」,并直呼「奖项并不能改变事实」。

Jürgen Schmidhuber 在推特上表示:「不要弄错新技术的发明者。至少在科学领域中,真相终将显现。真相没有显现,只能说明时候未到。奖项无法改变事实。」

Jürgen:六大理由,Hinton 不应该获本田奖

Jürgen 首先承认,Hinton 的确在人工神经网络和深度学习领域做出了突出的贡献。但是,本田奖却将 Hinton 未引用的其他研究者的基础性发明归功于他。科学不允许企业 PR 来扭曲科研学术记录。

有理有据!Jürgen 在正文中一一列举了他认为 Hinton 不应获得本田奖的 6 大理由。

理由 1:现代反向传播不是 Hinton 发明的

本田奖在公告中表示:Hinton 发明了很多方法并由此推动了人工智能的更广泛应用,其中就包括奠定了人工智能深度学习方法基础的反向传播算法。

Jürgen 则认为,现代反向传播是由 Linnainmaa 在 1970 年首先提出来的,之后 Rumelhart、Hinton 和 Williams 才在 1985 年提出,并且 Hinton 只是第二作者。此外,Ivakhnenko 的深度前馈网络(1965)早在 Hinton(1980 年代)之前就能够学习内部表征了,而且 Hinton 提出的网络深度不如前者。

理由 2:Hinton 的无监督预训练并没有促成当前的深度学习革命

本田奖在公告中表示:Hinton 在 2002 年发明了一种用于有限玻尔兹曼机的快速学习算法,使得它们无需任何标注数据即可学习到单层分布式表征。这些方法使深度学习有了更好的性能表现,并促成了当前的深度学习革命。

Jürgen 则表示,他早在 1991 年就提出了用于深度神经网络的无监督预训练,而 Hinton 在 21 世纪初提出的类似无监督预训练只是一种概念上的「旧方法重用」罢了。并且,这也与 2010 年之后出现的深度学习革命毫不相干。相反,深度学习革命的出现主要基于监督学习,而 Jürgen 在 IDSIA 研究所的团队曾分别于 1991-95 和 2006-11 两个阶段开展了由无监督预训练转向纯监督学习的研究。

理由 3:Hinton 的多层神经网络并未极大地改善语音识别效果,CTC-LSTM 才有用

本田奖在公告中表示:2009 年,Hinton 和他的两个学生提出使用多层神经网络在语音识别领域取得重大突破,由此极大地提升了语音识别的效果。

Jürgen 表示,首个表现良好的端到端神经语音识别基于他所在 IDSIA 研究所提出的两种方法,即 LSTM(20 世纪 90 年代-2005 年)和 CTC(2006 年)。但是,Hinton 等人在 2012 年仍然使用 20 世纪八九十年的老旧混合方法,其性能表现无法与革命性的 CTC-LSTM 同日而语。

理由 4:Hinton 并非最早将深度学习应用于计算机视觉的人

本田奖在公告中表示:2012 年,Hinton 与他的两名学生证明了深度学习在图像目标识别领域远远优于当时的 SOTA 方法,进而促使计算机视觉领域出现革命性进展。

自从 2011 年以来,深度学习在计算机视觉领域的统治地位不言而喻,据我们所知,这一地位的确立与 Hinton 学生 Alex Krizhevsky 在 2012 年提出的深度卷积神经网络模型 AlexNet 密不可分。

但 Jürgen 指出,他在 IDSIA 的团队比 Hinton 更早地将深度学习技术应用于计算机视觉领域。

2010 年,IDSIA 团队提出,通过简单的反向传播,GPU 可用于训练深度标准有监督神经网络模型,相比 CPU 实现了 50 倍的加速,打破了长期以来的 MNIST 基准记录。2011 年,IDSIA 团队将这种方法扩展到了卷积神经网络(CNN)上,相比基于 CPU 的 CNN,基于 GPU 的 CNN 训练速度实现了 60 倍加速。

而后,IDSIA 团队创造了首个纯粹基于 GPU 的深度 CNN,并在 2011 年到 2012 年期间的多项国际计算机视觉竞赛中胜出,引起了业界的广泛关注,指明了计算机视觉领域新的发展方向。

Jürgen 认为,这一方向显然并不是 Hinton 奠定的。

理由 5:Hinton 发明的「dropout」只是 Hanson 随机 delta 规则的变体

本田奖在公告中表示:Hinton 发明了广泛使用的「dropout」方法,这种方法通过阻止特征检测器(feature detector)出现复杂的互适应,进而减少神经网络中的过拟合。

Jürgen 则认为,「dropout」方法实际上是 Hanson 于 1990 年提出的随机 delta 规则(stochastic delta rule)的变体,并且 Hinton 2012 年发表的论文《ImageNet Classification with Deep Convolutional Neural Networks》中并没有引用 Hanson 的方法。

理由 6:Hinton 被过分地夸大了,现在大多数基于 AI 的服务都是基于自己的 DL 技术

本田奖在公告中表示:如果没有 Hinton 所取得的一系列科研成果,世界上大多数基于人工智能的技术服务则无法实现,这一点毋庸置疑。

Jürgen 则认为,2010 年代世界上大多数基于人工智能技术的服务,包括数十亿台设备上的语音识别、语言翻译等功能,都是基于他们的深度学习技术,而不是 Hinton 的。

Hinton 一再重复自己对现有基础技术的贡献,但正如猫王埃尔维斯·普雷斯利所说:「真相就像太阳,你可以让它暂时缺席, 却不能让它永远消失。」

Jürgen 对 Hinton 的批评也引发了 reddit 网友的热烈讨论。对于「如何判断新发现/idea 的归属」以及 Jürgen 给出的每一条理由大家也发表了不同意见。

激烈的争论又一次展开,有网友表示:

Jürgen 对「研究者功劳」的执著

这不是 Jürgen 第一次就研究发现的功劳发表看法。

提到 Jürgen Schmidhuber,我们自然会想到关于「谁是 GAN 初创者」的那桩公案。

Jürgen 一直认为 GAN 是其 PM 模型(1992)的变体,他与 Ian Goodfellow 从邮件到演讲展开了多次公开交流。去年,Jürgen 还独立发表了一篇综述论文,再一次概览了极小极大博弈,以及 PM 模型与 GAN 之间的强关联。

时间追溯到 2015 年,《自然》杂志发表了一篇介绍人工神经网络(NN)的文章《Deep Learning》,它是深度学习的一篇标志性文章,目前引用量已经达到了 24621。这篇文章由 Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 三人合著,从当下的卷积、循环和反向传播算法等核心概念概览了深度学习,并表示无监督学习、深度学习结合强化学习等方向才是发展趋势。

Schmidhuber 在当年的一篇批判性文章中表示,作者在这篇文章中引用了很多自己的研究工作,而忽视了半个世纪以前开创领域的先驱者。

看来 Jürgen 对「划分研究者的功劳」很是看重,这引起了一部分社区成员的认同。2018 年图灵奖颁发给三位人工智能先驱 Bengio、Hinton 和 LeCun 后,就有不少人认为 Jürgen 也应该获此奖项。

但在关于这次批评的讨论帖下面,我们也看到了这样的言论:

Jürgen 应当和 Bengio、Hinton 和 LeCun 一样获得图灵奖。但如果没有这三位先驱的工作,我们还在用 sigmoid 激活函数和启发式方法训练全连接神经网络,深陷于局部极小值的泥沼中呢。

参考链接:

http://people.idsia.ch/~juergen/critique-honda-prize-hinton.html

http://people.idsia.ch/~juergen/deep-learning-conspiracy.html

https://www.hondafoundation.jp/winner/view_en/1330

https://www.reddit.com/r/MachineLearning/comments/g5ali0/d_schmidhuber_critique_of_honda_prize_for_dr/

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/488009.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

操作文件 -------JavaScrip

本文摘要&#xff1a;http://www.liaoxuefeng.com/ 在HTML表单中&#xff0c;可以上传文件的唯一控件就是<input type"file">。 注意&#xff1a;当一个表单包含<input type"file">时&#xff0c;表单的enctype必须指定为multipart/form-data&…

半导体未来浪潮(深度好文)

本文资料来源于自德勤报告《半导体&#xff1a;未来浪潮》01新格局&#xff1a;全球半导体行业不断演化在过去几年&#xff0c;全球半导体行业增长主要依赖智能手机等电子设备的需求&#xff0c;以及物联网、云计算等技术应用的扩增。预计全球半导体行业增长态势有望持续至下一…

python数据运算

算数运算&#xff1a; 比较运算&#xff1a; 赋值运算&#xff1a; 逻辑运算&#xff1a; 成员运算&#xff1a; 身份运算&#xff1a; 位运算&#xff1a; 运算符优先级&#xff1a; 转载于:https://www.cnblogs.com/ne-zha/p/7136920.html

mysql单台跨数据库查询_在MySQL中怎样进行跨库查询?

在MySQL中跨库查询主要分为两种情况&#xff0c;一种是同服务的跨库查询&#xff1b;另一种是不同服务的跨库查询&#xff1b;它们进行跨库查询是不同的&#xff0c;下面就具体介绍这两种跨库查询。一、同服务的跨库查询同服务的跨库查询只需要在关联查询的时候带上数据名&…

宇宙膨胀背后的故事(卅三):宇宙之有生于无

本文来自程鹗科学网博客1969年&#xff0c;卡特和霍金的导师、剑桥大学宇宙学家夏玛&#xff08;Dennis Sciama&#xff09;在哥伦比亚大学讲学。在他话语停顿的间隙&#xff0c;有人突然迸出一句&#xff1a;“也许宇宙就是一个真空涨落&#xff08;vacuum fluctuation&#x…

《自然》 脑机接口新突破 人脑信号转文本准确率达97%

来源&#xff1a;网易智能据国外媒体报道&#xff0c;一个由加州大学旧金山分校的研究团队打造的新型人工智能系统可根据人脑信号来生成文本&#xff0c;准确率最高可达97%。亚马逊和谷歌等科技公司打造的虚拟助手相当先进&#xff0c;语音识别能力比起几年前进步惊人&#xff…

mysql 取月份天数_mysql 之 获取指定月份天数和指定月份上月天数

1.语法DAY(LAST_DAY(CONCAT(nc_date,01)))AS cm_day_cnt, -- 当月天数DAY(LAST_DAY(DATE_SUB((CONCAT(nc_date,01)),INTERVAL 1 MONTH))) -- 上月天数2.解析我的nc_date 是 202004&#xff0c;因此要使用concat 连接01 &#xff0c;形成完整的日期LAST_DAY()函数&#xff0c;获…

tomcat各目录(文件)作用

1.bin bin目录主要是用来存放tomcat的命令&#xff0c;主要有两大类&#xff0c;一类是以.sh结尾的&#xff08;linux命令&#xff09;&#xff0c;另一类是以.bat结尾的&#xff08;windows命令&#xff09;。 重要&#xff1a; 很多环境变量的设置都在此处&#xff0c;例如可…

对外星智能的搜索得到了重大的升级

Photo: iStockphotoRadio antenna dishes of the Very Large Array radio telescope near Socorro, New Mexico.来源&#xff1a;IEEE电气电子工程师我们都曾一度怀疑宇宙中其他地方是否存在智慧生命。加州大学伯克利分校&#xff08;University of California Berkeley&#x…

打开脑科学研究的另一扇窗:脑神经化学活体原位电化学分析新技术

来源&#xff1a;brainnews脑科学是目前国际前沿科技的热点研究领域之一&#xff0c;对脑功能的研究有助于理解人类认知、情感等复杂生理过程的本质&#xff0c;以及神经系统疾病的形成和发展规律。脑神经信号的传递以及代谢过程都离不开化学物质的参与&#xff0c;因此&#x…

人工智能下一阶段,为啥要看互联网巨头?

来源&#xff1a;财讯网回顾过去的十余年&#xff0c;人工智能的进步可谓“耀眼”。尤其是从2015年“阿法狗”横空出世之后&#xff0c;人工智能行业的发展速度一骑绝尘。归根结底&#xff0c;是人类在人工智能领域探索50余年&#xff0c;最终才在半导体技术和软件技术的帮助下…

日本科学家:可观测宇宙中,我们可能是唯一的生命

图片来源&#xff1a;Pixabay长期以来&#xff0c;人类一直渴望在宇宙中找到地外生命的痕迹&#xff0c;但一项于今年早些时候发表的研究&#xff0c;给持有此类想法的人泼了一盆冷水。基于“自然发生”学说以及其中的“RNA世界”假说&#xff0c;研究人员认为在可观测宇宙中&a…

go 接口 构造器_Go 中接口值的复制

我一直在思考 Go 语言它是如何工作的。直到最近我才发现 Go 中一切都是基于值的。当我们向函数传递参数、迭代切片、执行类型断言时我们都可以看到这一现象。在这些例子中&#xff0c;这些数据结构所存储的值的拷贝会被返回。当我刚开始学习 Go 的时候&#xff0c;我对于这种实…

【人工智能】人工智能革命与机遇

来源 | 北大AI公开课编辑 | Vincent、Natalie课程导师&#xff1a;雷鸣&#xff0c;天使投资人&#xff0c;百度创始七剑客之一&#xff0c;酷我音乐创始人&#xff0c;北京大学信科人工智能创新中心主任&#xff0c;2000年获得北京大学计算机硕士学位&#xff0c;2005年获得斯…

laravel log 对象_swoole运行模式加速laravel应用的详细介绍(life)

本篇文章给大家带来的内容是关于swoole运行模式加速laravel应用的详细介绍&#xff0c;有一定的参考价值&#xff0c;有需要的朋友可以参考一下&#xff0c;希望对你有所帮助。我的官方群点击此处。一、SwooleSwoole号称重新定义了PHP&#xff0c;它是一个PHP扩展&#xff0c;使…

OVS+DPDK Datapath 包分类技术

本文主体内容译于[DPDK社区文档]&#xff0c;但并没有逐字翻译&#xff0c;在原文的基础上进行了一些调整&#xff0c;增加了对TSS分类器的详细阐述。 1. 概览 本文描述了OVSDPDK中的包分类器(datapath classifier -- aka dpcls)的设计与实现思路。本文的内容主要牵涉到分类器对…

mysql第五章 在线测试_PHP+MySQL来实现在线测试quiz功能

在上一篇文章中&#xff0c;我们介绍了jQuery前端PHP在线测试题效果。这篇文章将结合实例给大家介绍如何使用jQueryPHPMySQL来实现在线测试题&#xff0c;包括动态读取题目&#xff0c;答题完毕后台评分&#xff0c;并返回答题结果。查看演示下载资源&#xff1a;1332次 下载资…

深度揭秘AI换脸原理,为啥最先进分类器也认不出?

文章来源&#xff1a;VentureBeat&#xff0c;arXiv智东西4月20日消息&#xff0c;AI换脸已不是新鲜事&#xff0c;手机应用市场中有多款换脸app&#xff0c;此前也曾曝出有网络IP用明星的面孔伪造色情影片、在大选期间用竞选者的脸制作虚假影像信息等。为了规避Deepfake滥用带…

中美德工业互联网路径比较

转自丨无锡情报所作者丨王喜文&#xff0c;九三学社中央促进技术创新工作委员会委员、九三学社中央科技委委员过去20年&#xff0c;互联网是改变社会、改变商业最重要的技术&#xff1b;如今&#xff0c;随着5G、物联网以及云计算和大数据、区块链、人工智能技术的迅速发展&…

不同浏览器隐藏默认表单样式

各种appearance: none; 转载于:https://www.cnblogs.com/haimingpro/p/7168738.html