LSTM之父:吐槽了两年,来划划重点:“这5篇最高引论文都源于我们。”

来源:AI科技评论

作者:陈彩娴

编辑:青暮

昨晚,“递归神经网络之父”Jürgen Schmidhuber 在推特上亲自发文,称目前引用数最高的5项神经网络工作都基于他的团队成果,一时引起了网友的广泛讨论。这并不是他首次发声,Jürgen Schmidhuber近两年来发表无数文章和言论,每次提及几项他过去的研究,表示是他首创,并抱怨学界不承认他对AI领域的贡献。

这篇博文也算是为我们划了重点,即他过去两年来提过的几十项“不是你首创”AI研究中,有哪些更具影响力。

Jürgen 称,人工神经网络(neural networks,简称“NN”)深度学习是现代人工智能的两大主题,而现今最受欢迎的五大神经网络都是基于他在慕尼黑工业大学和 IDSIA 实验室的研究团队所取得的成果,这五大神经网络就包括:

1)LSTM(Long Short-Term Memory,长短期记忆人工神经网络),是 20 世纪被引用最多的神经网络;当然这项工作已经被公认是他的首创,Yann LeCun也在自传中提及了这一点;

2)ResNet,21世纪被引用最多的神经网络,Jürgen 认为是他们早期提出的高速网络(Highway Net,第一个真正有效的深度前馈神经网络)的门控版本;

3)AlexNet 与 VGG Net,21世纪引用数排第二与第三的神经网络,Jürgen 称这两个网络都是基于他们早期提出的 DanNet(第一个在图像识别竞赛中取胜的深度卷积神经网络);

4)GAN(Generative Adversarial Networks,生成对抗网络),基于他早期提出的“对抗性人工好奇心”(Adversarial Artificial Curiosity);

5)Transformer的变体,Jürgen 认为,线性 Transformer 的形式与他早期所提出的 Fast Weight Programmers 一样。许多工作是从他们在 1990 年至 1991 年间提出的 Annus Mirabilis 开始的,当时的计算代价比现在要贵一百万倍。

回顾神经网络的发展历程,Jürgen 所提出的五大工作都在现代人工智能领域的研究中发挥了重要作用。比如,LSTM 被广泛应用于医疗健康、学习机器人、游戏、语音处理与机器翻译等研究方向。

在他所发表的博文中,Jürgen 本人特地谈到,何恺明等人在2015年所提出的 ResNet(残差网络)借鉴了他们在 2015 年 5 月发布的 Highway Net。他指出,Highway Net 是第一个具有 100 层以上的前馈神经网络(以前的神经网络最多只有几十层),而 ResNet 的本质其实是“开放的” Highway Nets。Highway Net 展示了具有跳跃式传递(skip connection)的深度神经网络是如何工作的,且在 ImageNet 上的表现与 ResNet 大致相同。但美国专利商标局在 2001 年就将这项发明的专利授予了 NNAISENSE。

论文链接:https://arxiv.org/pdf/1505.00387.pdf

值得注意的是,20 世纪与 21 世纪被引用最高的神经网络(LSTM与ResNet)是紧密相连的,因为 Highway Net 实际上是 Jürgen 团队所提出的循环 LSTM 的前馈神经网络版本。深度学习主要是聚焦于神经网络的深度。LSTM 打破了监督循环神经网络的深度局限性,而 Highway Nets 将其引到了前馈神经网络。

在 Jürgen 所写的文章中,他感慨,这些工作为谷歌、Facebook、微软等大企业做出了巨大贡献,颇有点“为他人做嫁衣”的唏嘘:何恺明是在 MSRA 期间发表的 ResNet,后来他加入了Facebook;而 AlexNet 与 VGG Net 的大多作者去了谷歌,谷歌在 2017 年发布了Transformer,都与他在 1991 年发表的线性 Transformer 相关,然后谷歌还收购了他实验室里一位学生参与联合创立的 DeepMind;而 DanNet 的二作、GAN 的一作去了苹果公司。

“上述这些公司都广泛使用了我的 LSTM。”

或许是抱怨过于频繁,Jürgen Schmidhuber形象早已濒临崩塌边缘。

广大吃瓜群众亦不耐烦,在推特和reddit上纷纷对Jürgen Schmidhuber开启了嘲讽模式,一句“他的自负大于他的引用次数”可谓精辟。

在Reddit上,一位网友中肯地评价道:

不可否认,他做了真正开创性的工作,并帮助开创了深度学习,但这篇文章看起来像一个孩子在大喊,“看我,我是最棒的”。

参考链接:

1.https://www.reddit.com/r/MachineLearning/comments/pk69xy/d_schmidhuber_the_most_cited_neural_networks_all/

2.https://people.idsia.ch/~juergen/most-cited-neural-nets.html

3.http://people.idsia.ch/~juergen/deep-learning-miraculous-year-1990-1991.html

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/483857.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

初学者配置环境变量

1. 首先选择计算机右击,选择最后一个属性,进入属性面板 2. 点击“高级系统设置”,点击“环境变量” 3. 在“系统变量”的处配置所需要配置的环境变量,点击“新建”按钮 4. 配置java的环境变量 JAVA_HOME 、CLASSPATH 、 Path5. JA…

小白 LeetCode 5605 检查两个字符串数据是否相等

题目:给你两个字符串数组 word1 和 word2 。如果两个数组表示的字符串相同,返回 true ;否则,返回 false 。 数组表示的字符串 是由数组中的所有元素 按顺序 连接形成的字符串。 示例 1: 输入:word1 [&q…

Mac OS X下Maven的安装与配置

Mac OS X下Maven的安装与配置: 下载maven:https://maven.apache.org/download.cgi 打开Terminal,输入以下命令,设置Maven classpath,输入命令 vim ~/.bash_profile(编辑环境变量配置文件) MAVEN_HOME/…

演讲实录丨吴朝晖院士:从AI到CI——脑机智能的发展

来源:中国人工智能学会原创 :CAAI作者:吴朝晖院士吴朝晖中国科学院院士浙江大学校长IEEE/CAAI/CCF/CAA Fellow以下是吴朝晖院士的演讲实录:21世纪被称为“脑研究世纪”,伴随着脑科学和认知科学的兴起,特别是…

2019.3.23 捕获异常

PHP中try{}catch{}语句概述 1.PHP5添加了类似于其它语言的异常处理模块。在 PHP 代码中所产生的异常可被 throw语句抛出并被 catch 语句捕获。(注:一定要先抛才能获取) 2.需要进行异常处理的代码都必须放入 try 代码块内,以便捕获…

LeetCode 1480 一维数组的动态和

题目: 给你一个数组 nums 。数组「动态和」的计算公式为:runningSum[i] sum(nums[0]…nums[i]) 。 请返回 nums 的动态和。 示例 1: 输入:nums [1,2,3,4] 输出:[1,3,6,10] 解释:动态和计算过程为 [1,…

推荐系统简介

推荐系统简介 文章目录推荐系统简介1.推荐系统概述推荐系统目的我们推荐的目的:推荐系统的应用推荐系统的基本思想推荐系统的数据分析推荐系统分类2.推荐系统简介基于人口统计学的推荐基于内容的推荐基于协同过滤的推荐混合推荐3.推荐系统评测推荐系统的实验方法推荐…

清华大学孙茂松:透过喧嚣,坐看云起,NLP 的迷思与感悟

来源:智源社区图源:澎湃新闻2010年深层神经网络在语音识别研究方向上取得里程碑式进展,以这一事件为新起点和新动能,整个人工智能领域迅速跃迁到深度学习时代,包括自然语言处理(NLP)等关键领域也…

华为OD机试 - 贪吃的猴子(Java JS Python C)

在线OJ刷题 题目详情 - 贪吃的猴子 - Hydro 题目描述 一只贪吃的猴子,来到一个果园,发现许多串香蕉排成一行,每串香蕉上有若干根香蕉。每串香蕉的根数由数组numbers给出。 猴子获取香蕉,每次都只能从行的开头或者末尾获取,并且只能获取N次,求猴子最多能获取多少根香蕉…

软工大二下半年第四周学习进度

这一周,并没有什么收获,不过令我感到兴奋地是,HTML竟然可以做小游戏,我去网上搜简单小游戏的源代码,坦克大战,俄罗斯方块,五子棋童年的回忆,没想到自己可以做出来。还有一些程序员表…

2022年科学突破奖,9人共获奖金1500万美元,mRNA 新冠疫苗2位奠基人获奖

来源:科研圈编辑:David9 月 9 日,2022 年科学突破奖获奖名单在美国旧金山公布。生命科学奖、物理学奖、数学奖分别授予 5 个项目共 9 位科学家,每个项目奖金金额为 300 万元。新冠 mRNA 疫苗技术奠基者 Katalin Karik 与 Drew Wei…

Linux C语言 文件操作

打开函数 fopen 的原型如下。 FILE * fopen(char *filename, char *mode); 返回值:打开成功,返回该文件对应的 FILE 类型的指针;打开失败,返回 NULL。 表 2模式含 义说 明r只读文件必须存在,否则打开失败w只写若文件存…

多巴胺如何驱使我们克服复杂情况、逆境、情绪, 让我们掌控周遭的环境的

来源:本文摘自《贪婪的多巴胺》仅仅是“想要”很少能让你得到任何东西。你必须弄清楚如何获得它,以及它是否值得拥有。事实上,如果我们做事时不考虑怎么做和下一步做什么,失败甚至不是最坏的结果。结果可能从吃得有点儿多发展为不…

火爆股市的元宇宙,究竟关VR/AR什么事?

来源:VR每日必看VR设备被普遍认为是进出元宇宙的主要终端,据Wind数据,VR概念的上市公司包括歌尔股份、中科创达、欣旺达等55家公司。大洋彼岸的“蝴蝶”扇动翅膀,A股的元宇宙概念也火热起来。A股代表性企业中青宝已经连续两日“20…

2018-2019-2 网络对抗技术 20165301 Exp2 后门原理与实践

2018-2019-2 网络对抗技术 20165301 Exp2 后门原理与实践 实验内容 (1)使用netcat获取主机操作Shell,cron启动(2)使用socat获取主机操作Shell, 任务计划启动(3)使用MSF meterpreter(或其他软件)生成可执行文件,利用ncat或socat传送…

[Swift]LeetCode853. 车队 | Car Fleet

★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★➤微信公众号:山青咏芝(shanqingyongzhi)➤博客园地址:山青咏芝(https://www.cnblogs.com/strengthen/)➤GitHub地址&a…

世界机器人大会|人工智能VS人类

来源:新华社作者:北京邮电大学人工智能学院 刘伟配音:郑琬策划、终审:刘君校对:周雪晴2021世界机器人大会于9月10日至13日在北京召开,世界机器人博览会及世界机器人大赛将同期举办。其实,智能不…

LeetCode LCP 06. 拿硬币

题目:桌上有 n 堆力扣币,每堆的数量保存在数组 coins 中。我们每次可以选择任意一堆,拿走其中的一枚或者两枚,求拿完所有力扣币的最少次数。 示例 1: 输入:[4,2,1]输出:4解释:第一…

华为:憧憬6G,共同定义6G

来源:华为华为心声社区发布了由徐直军签发的总裁办电子邮件,邮件内容为徐直军为《6G无线通信新征程》一书作的序《憧憬6G,共同定义6G》。徐直军在文中表示,6G将在2030年左右投向市场,究竟市场将会迎来什么样的6G&#…

增量式爬虫(简易)

增量式爬虫引言: 当我们在浏览相关网页的时候会发现,某些网站定时会在原有网页数据的基础上更新一批数据,例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么,类似的情景…