LSTM之父:吐槽了两年,来划划重点:“这5篇最高引论文都源于我们。”

来源:AI科技评论

作者:陈彩娴

编辑:青暮

昨晚,“递归神经网络之父”Jürgen Schmidhuber 在推特上亲自发文,称目前引用数最高的5项神经网络工作都基于他的团队成果,一时引起了网友的广泛讨论。这并不是他首次发声,Jürgen Schmidhuber近两年来发表无数文章和言论,每次提及几项他过去的研究,表示是他首创,并抱怨学界不承认他对AI领域的贡献。

这篇博文也算是为我们划了重点,即他过去两年来提过的几十项“不是你首创”AI研究中,有哪些更具影响力。

Jürgen 称,人工神经网络(neural networks,简称“NN”)深度学习是现代人工智能的两大主题,而现今最受欢迎的五大神经网络都是基于他在慕尼黑工业大学和 IDSIA 实验室的研究团队所取得的成果,这五大神经网络就包括:

1)LSTM(Long Short-Term Memory,长短期记忆人工神经网络),是 20 世纪被引用最多的神经网络;当然这项工作已经被公认是他的首创,Yann LeCun也在自传中提及了这一点;

2)ResNet,21世纪被引用最多的神经网络,Jürgen 认为是他们早期提出的高速网络(Highway Net,第一个真正有效的深度前馈神经网络)的门控版本;

3)AlexNet 与 VGG Net,21世纪引用数排第二与第三的神经网络,Jürgen 称这两个网络都是基于他们早期提出的 DanNet(第一个在图像识别竞赛中取胜的深度卷积神经网络);

4)GAN(Generative Adversarial Networks,生成对抗网络),基于他早期提出的“对抗性人工好奇心”(Adversarial Artificial Curiosity);

5)Transformer的变体,Jürgen 认为,线性 Transformer 的形式与他早期所提出的 Fast Weight Programmers 一样。许多工作是从他们在 1990 年至 1991 年间提出的 Annus Mirabilis 开始的,当时的计算代价比现在要贵一百万倍。

回顾神经网络的发展历程,Jürgen 所提出的五大工作都在现代人工智能领域的研究中发挥了重要作用。比如,LSTM 被广泛应用于医疗健康、学习机器人、游戏、语音处理与机器翻译等研究方向。

在他所发表的博文中,Jürgen 本人特地谈到,何恺明等人在2015年所提出的 ResNet(残差网络)借鉴了他们在 2015 年 5 月发布的 Highway Net。他指出,Highway Net 是第一个具有 100 层以上的前馈神经网络(以前的神经网络最多只有几十层),而 ResNet 的本质其实是“开放的” Highway Nets。Highway Net 展示了具有跳跃式传递(skip connection)的深度神经网络是如何工作的,且在 ImageNet 上的表现与 ResNet 大致相同。但美国专利商标局在 2001 年就将这项发明的专利授予了 NNAISENSE。

论文链接:https://arxiv.org/pdf/1505.00387.pdf

值得注意的是,20 世纪与 21 世纪被引用最高的神经网络(LSTM与ResNet)是紧密相连的,因为 Highway Net 实际上是 Jürgen 团队所提出的循环 LSTM 的前馈神经网络版本。深度学习主要是聚焦于神经网络的深度。LSTM 打破了监督循环神经网络的深度局限性,而 Highway Nets 将其引到了前馈神经网络。

在 Jürgen 所写的文章中,他感慨,这些工作为谷歌、Facebook、微软等大企业做出了巨大贡献,颇有点“为他人做嫁衣”的唏嘘:何恺明是在 MSRA 期间发表的 ResNet,后来他加入了Facebook;而 AlexNet 与 VGG Net 的大多作者去了谷歌,谷歌在 2017 年发布了Transformer,都与他在 1991 年发表的线性 Transformer 相关,然后谷歌还收购了他实验室里一位学生参与联合创立的 DeepMind;而 DanNet 的二作、GAN 的一作去了苹果公司。

“上述这些公司都广泛使用了我的 LSTM。”

或许是抱怨过于频繁,Jürgen Schmidhuber形象早已濒临崩塌边缘。

广大吃瓜群众亦不耐烦,在推特和reddit上纷纷对Jürgen Schmidhuber开启了嘲讽模式,一句“他的自负大于他的引用次数”可谓精辟。

在Reddit上,一位网友中肯地评价道:

不可否认,他做了真正开创性的工作,并帮助开创了深度学习,但这篇文章看起来像一个孩子在大喊,“看我,我是最棒的”。

参考链接:

1.https://www.reddit.com/r/MachineLearning/comments/pk69xy/d_schmidhuber_the_most_cited_neural_networks_all/

2.https://people.idsia.ch/~juergen/most-cited-neural-nets.html

3.http://people.idsia.ch/~juergen/deep-learning-miraculous-year-1990-1991.html

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/483857.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

初学者配置环境变量

1. 首先选择计算机右击,选择最后一个属性,进入属性面板 2. 点击“高级系统设置”,点击“环境变量” 3. 在“系统变量”的处配置所需要配置的环境变量,点击“新建”按钮 4. 配置java的环境变量 JAVA_HOME 、CLASSPATH 、 Path5. JA…

小白 LeetCode 5605 检查两个字符串数据是否相等

题目:给你两个字符串数组 word1 和 word2 。如果两个数组表示的字符串相同,返回 true ;否则,返回 false 。 数组表示的字符串 是由数组中的所有元素 按顺序 连接形成的字符串。 示例 1: 输入:word1 [&q…

Mac OS X下Maven的安装与配置

Mac OS X下Maven的安装与配置: 下载maven:https://maven.apache.org/download.cgi 打开Terminal,输入以下命令,设置Maven classpath,输入命令 vim ~/.bash_profile(编辑环境变量配置文件) MAVEN_HOME/…

演讲实录丨吴朝晖院士:从AI到CI——脑机智能的发展

来源:中国人工智能学会原创 :CAAI作者:吴朝晖院士吴朝晖中国科学院院士浙江大学校长IEEE/CAAI/CCF/CAA Fellow以下是吴朝晖院士的演讲实录:21世纪被称为“脑研究世纪”,伴随着脑科学和认知科学的兴起,特别是…

LeetCode 1480 一维数组的动态和

题目: 给你一个数组 nums 。数组「动态和」的计算公式为:runningSum[i] sum(nums[0]…nums[i]) 。 请返回 nums 的动态和。 示例 1: 输入:nums [1,2,3,4] 输出:[1,3,6,10] 解释:动态和计算过程为 [1,…

推荐系统简介

推荐系统简介 文章目录推荐系统简介1.推荐系统概述推荐系统目的我们推荐的目的:推荐系统的应用推荐系统的基本思想推荐系统的数据分析推荐系统分类2.推荐系统简介基于人口统计学的推荐基于内容的推荐基于协同过滤的推荐混合推荐3.推荐系统评测推荐系统的实验方法推荐…

清华大学孙茂松:透过喧嚣,坐看云起,NLP 的迷思与感悟

来源:智源社区图源:澎湃新闻2010年深层神经网络在语音识别研究方向上取得里程碑式进展,以这一事件为新起点和新动能,整个人工智能领域迅速跃迁到深度学习时代,包括自然语言处理(NLP)等关键领域也…

2022年科学突破奖,9人共获奖金1500万美元,mRNA 新冠疫苗2位奠基人获奖

来源:科研圈编辑:David9 月 9 日,2022 年科学突破奖获奖名单在美国旧金山公布。生命科学奖、物理学奖、数学奖分别授予 5 个项目共 9 位科学家,每个项目奖金金额为 300 万元。新冠 mRNA 疫苗技术奠基者 Katalin Karik 与 Drew Wei…

多巴胺如何驱使我们克服复杂情况、逆境、情绪, 让我们掌控周遭的环境的

来源:本文摘自《贪婪的多巴胺》仅仅是“想要”很少能让你得到任何东西。你必须弄清楚如何获得它,以及它是否值得拥有。事实上,如果我们做事时不考虑怎么做和下一步做什么,失败甚至不是最坏的结果。结果可能从吃得有点儿多发展为不…

火爆股市的元宇宙,究竟关VR/AR什么事?

来源:VR每日必看VR设备被普遍认为是进出元宇宙的主要终端,据Wind数据,VR概念的上市公司包括歌尔股份、中科创达、欣旺达等55家公司。大洋彼岸的“蝴蝶”扇动翅膀,A股的元宇宙概念也火热起来。A股代表性企业中青宝已经连续两日“20…

2018-2019-2 网络对抗技术 20165301 Exp2 后门原理与实践

2018-2019-2 网络对抗技术 20165301 Exp2 后门原理与实践 实验内容 (1)使用netcat获取主机操作Shell,cron启动(2)使用socat获取主机操作Shell, 任务计划启动(3)使用MSF meterpreter(或其他软件)生成可执行文件,利用ncat或socat传送…

世界机器人大会|人工智能VS人类

来源:新华社作者:北京邮电大学人工智能学院 刘伟配音:郑琬策划、终审:刘君校对:周雪晴2021世界机器人大会于9月10日至13日在北京召开,世界机器人博览会及世界机器人大赛将同期举办。其实,智能不…

LeetCode LCP 06. 拿硬币

题目:桌上有 n 堆力扣币,每堆的数量保存在数组 coins 中。我们每次可以选择任意一堆,拿走其中的一枚或者两枚,求拿完所有力扣币的最少次数。 示例 1: 输入:[4,2,1]输出:4解释:第一…

华为:憧憬6G,共同定义6G

来源:华为华为心声社区发布了由徐直军签发的总裁办电子邮件,邮件内容为徐直军为《6G无线通信新征程》一书作的序《憧憬6G,共同定义6G》。徐直军在文中表示,6G将在2030年左右投向市场,究竟市场将会迎来什么样的6G&#…

“中国诺奖”2021未来科学大奖公布:袁国勇、裴伟士、张杰、施敏获奖,总奖金300万美元...

来源:学术头条中国首个由科学家、企业家共同发起的民间公益组织颁发的世界级科学大奖——未来科学大奖,9 月 12 日正式揭晓 2021 年生命科学奖、物质科学奖、数学与计算机科学奖获奖名单。香港大学袁国勇、裴伟士获得生命科学奖。获奖理由:他…

实验二——函数重载,快速排序,类对象

函数重载&#xff1a; #include<iostream> using namespace std; struct complex{ double real; double imaginary; }; int add(int,int); double add(double,double); complex add(complex,complex); int main() { int a12,b13; double a22.0,b23.0; struct complex num…

LeetCode 771. 宝石与石头

题目&#xff1a; 给定字符串J 代表石头中宝石的类型&#xff0c;和字符串 S代表你拥有的石头。 S 中每个字符代表了一种你拥有的石头的类型&#xff0c;你想知道你拥有的石头中有多少是宝石。 J 中的字母不重复&#xff0c;J 和 S中的所有字符都是字母。字母区分大小写&#…

【前沿技术】Facebook 硬件负责人,带摄像头的智能眼镜将在 10 年内成为常态

拍照功能将在十年内成为智能眼镜的标准配置来源&#xff1a;智能研究院在 Facebook 与 Luxottica 的首款智能眼镜合作产品 Ray-Ban Stories 发布后&#xff0c;Facebook 硬件业务负责人 Andrew Bosworth 周五在与 Essilor Luxottica 的首席可穿戴设备官 Rocco Basilico 交谈时表…

9大领域50名青年学者获2021年科学探索奖,单人奖金300万元

来源&#xff1a;科学探索奖官网、科学网等9 月 13 日&#xff0c;2021 年科学探索奖获奖人名单公布&#xff0c;来自 9 个领域的 50 名青年科学家获奖。其中包括 8 名女性科学家&#xff0c;最年轻获奖者仅 32 岁。他们将在 5 年内获得总计 300 万元人民币的奖金&#xff0c;可…

多角度回顾因果推断的模型方法

来源&#xff1a;AI干货知识库推断因果关系&#xff0c;是人类思想史与科学史上的重要主题。现代因果推断的研究&#xff0c;始于约尔-辛普森悖论&#xff0c;经由鲁宾因果模型、随机试验等改进&#xff0c;到朱力亚珀尔的因果革命&#xff0c;如今因果科学与人工智能的结合正掀…