“神经网络”的逆袭:图解 80 年 AI 斗争史

29c10ad4c29af118543d97662681adb7.jpeg
转自量子位  | 公众号 QbitAI
晓查 发自 凹非寺 

有人的地方,就有斗争。

华山派有“剑宗”和“气宗”,相互斗了几十年。人工智能界也有“山头”,AI两大派系的斗争早在第一台电子计算机问世前就已经开始了。

12114f05e27e37ae127db8dfe6799bdd.jpeg

△ 有三名法国人把两派的势力对决画成图,名字叫“神经元的复仇”

这两大派系就是:

  • 符号主义”(Symbolicism),又称逻辑主义、计算机学派,主张用公理和逻辑体系搭建一套人工智能系统。

  • 连接主义”(Connectionism),又叫仿生学派,主张模仿人类的神经元,用神经网络的连接机制实现人工智能。

在符号主义者的眼里,人工智能应该模仿人类的逻辑方式获取知识,而连接主义者奉行大数据和训练学习知识。

派系斗争与两次AI危机

早在达特茅斯会议之前,图灵就提出过“图灵机”这样的人工智能前沿概念。斗争之初的几十年间,连接主义派的论文引用率一直领先对手。

c0cc996566e34210963f4f45441be39e.jpeg

别看奉行“连接主义”的机器学习如何风光,早年间他们长期受到另一个派别——“符号主义”者的鄙视。

60年代初,美国国防高级研究计划署(DARPA)对AI领域进行了数百万美元的投资,人工智能也迎来的第一黄金发展期。

第一次AI危机

情况在1969年起了变化,“符号主义”代表人物马文·明斯基(Marvin Minsky)写了一本名为《感知器》(Perceptron)的书,结果直接把神经网络给写死了。

b2e09b422c188f019c5a132f3889fab4.jpeg

感知器是那个年代的神经网络。明斯基在书中向“连接主义”发难,你们的感知器连最基本的异或(XOR)都做不到,做出来还有什么用?

也是在那一年,闵斯基获得了图灵奖。

“符号主义”派胜利后不久,AI就迎来了第一次寒冬。或者说,计算力的匮乏导致了第一次AI寒冬,帮助“符号主义”实现逆袭。

符号主义的高峰

到了70年代中期,专家系统(expert system)的出现带来了AI的黄金时代。它其实就是一套计算机软件,能够模拟人类专家回答问题,不过它的智能仅局限在一个很窄的领域,说它是“活字典”可能更准确。

ce7a8fd4c57f55d5f31ca82ae841adb8.jpeg

与此同时,“连接主义”也在悄悄发展,约翰·霍普菲尔德(John Hopfield)在1982年发现了具有学习能力的神经网络算法。

就在“符号主义”志得意满的时候,Lisp machine的失败让两派力量再次发生了逆转。Lisp是当时研究AI领域常用的编程语言,Lisp machine是专门被优化用来运行Lisp程序的计算机。

4368de2d60c6e321fa7a9c408009852a.jpeg

80年代,研究AI的学校都买入了这种机器,最后却发现用它们做不出来AI。之后就出现了IBM PC和苹果机,比Lisp machine便宜,运算力更强。

Lisp machine顺理成章“狗带”,AI进入第二次寒冬。

连接主义的逆袭

“连接主义”者在这时候也找到了更简单的统计方法:支持向量机(SVM),它消耗的计算资源更少。之后,长短期记忆(LSTM)算法也被提出。

976e89e3b1e2d3b0f6f3a794be5ef029.jpeg

后来的事情,你们也知道了,深度学习终于又重新霸占了学术和工业界。
时间再回到当下,从2010年开始,机器学习成为AI行业主导。人工智能在机器学习的帮助下,取得了巨大的成就,标志着AI的彻底复苏。如今最热的AI概念均出自“连接主义”派。

近年来,计算机硬件的发展更是让“连接主义”如鱼得水,连手机的计算力都能完成识图的任务,深度学习能实现“反杀”也就不奇怪了。

双方代表人物

说到两派的斗争,就不得不提一下双方的“将领”了:

279ada4785da8c4ceb79e539f7129297.jpeg

符号主义派:马文·明斯基(Marvin Minsky),麻省理工人工智能实验室创始人之一,他奠定了人工神经网络的研究基础,早在1951年,他设计构建了第一个能自我学习的人工神经网络机器。

103189149b46e691400068b6848f8390.jpeg

连接主义派:约翰·霍普菲尔德(John Hopfield),美国科学家,在物理学和计算机学方面均有很高的成就,1982年发明了联想神经网络,也就是知名的霍普菲尔德网络。

475ab6101ebb381a4856c0c1e58c4cf7.jpeg

△ 两派之间也相互引用文章

除了这两位名人外,符号主义这边的大牛还有Herbert A. Simon、Allen Newell。如今连接主义当道,这一派的大佬更为我们所熟知:比如Yann LeCun、李飞飞、Geoffrey Hinton等人。

关于两派更详细的内容,有兴趣的同学可以看原文,不过是全法文哦:
https://neurovenge.antonomase.fr

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

0fafd06ca2433445ce1d917b1dd0108f.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/481510.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

文献阅读15-OntoILPER:A logic-based relational learning approach关系抽取,NER+RE

文章目录abstract1.Introduction2.2. Supervised Machine Learning Approaches to Relation Extraction2.1. Statistical Learning Approach2.1.1 Feature-based approaches to RE2.1.2 Kernel-based approaches to RE2.2. Relational Learning Approach2.2.1. Inductive Logic…

人类反超 AI:DeepMind 用 AI 打破矩阵乘法计算速度 50 年记录一周后,数学家再次刷新...

来源:图灵人工智能作者:李梅、施方圆编辑:陈彩娴10 月 5 日,AlphaTensor 横空出世,DeepMind 宣布其解决了数学领域 50 年来一个悬而未决的数学算法问题,即矩阵乘法。AlphaTensor 成为首个用于为矩阵乘法等数…

前沿进展:宏观麦克斯韦妖背后的热力学几何原理

导语热力学强烈限制了静态宏观热扩散系统中的热流动方向,使用时空调制系统能够克服这种限制。近日,科学家提出了时空驱动热扩散的一般理论,揭示了宏观驱动热扩散中潜在的由冷到热的几何热泵效应以及实现热非互易性的限制条件,并实…

文献阅读课16-J-REED: Joint Relation Extraction and Entity Disambiguation,关系抽取实体消歧联合模型,概率图CRF,2017

文章目录abstract1. INTRODUCTION & RELATED WORK2 DOCUMENT PROCESSING3 RELATION PATTERN MINING4 RELATION PATTERN LABELING5 JOINT MODEL6 EXPERIMENTS6.1 Corpora6.2 Systems under Comparison6.3 Experiments on Relation Pattern Extraction6.4 Experiments on Ent…

用 AI 预测 AI,它的未来会是什么?

来源:学术头条人工智能,开始解决越来越多人类尚未解决的问题,且取得了不错的成果。然而,在过去几年中,人工智能领域的科学研究数量呈指数级增长,使得科学家们和从业者们很难及时跟踪这些进展。数据显示&…

文献阅读课17-利用实体BIO标签嵌入和多任务学习进行不平衡数据关系提取,一个句子多关系多实体,ACL2019

文章目录abstract1 Introduction2. Proposed Approach3.实验3.1数据准备3.2 Experiment Settings3.4 分析3.4.1 BIO embedding3.4.2 Effect of Positive/Negative Instance Ratio3.4.3 Effect of Loss Function w/o Multi-tasking4 Related work5 结论Ye, W., et al. (2019). E…

【Brain】登上国际顶刊 PNAS!科学家从理论计算机出发,提出了一个意识模型——「有意识的图灵机」...

来源:墨玫人工智能编译:AI 科技评论组编辑:陈彩娴深度学习三巨头之一的Yoshua Bengio也点头称赞。5月下旬,国际顶刊《美国国家科学院院刊》(PNAS)发表了一篇其于去年10月接收审核的工作,研究非常…

72名图灵奖获得者的成就

来源:图灵教育从“图灵机”到“图灵测试”,从破译德军的 Enigma 到自杀之谜,图灵一生都是传奇,关于图灵的故事我们不在这里赘述,感兴趣的读者请看文末推荐阅读。今天我们更想聊聊,计算机领域最高奖项 —— …

18-Gm-TransH:Group-Constrained Embedding of Multi-fold Relations in Knowledge Bases,嵌入,transH,n-ary

文章目录abstract1. introduction2 Related Work2.1 Binary Relation Embedding2.2 Multi-fold Relation Embedding3 Group-Constrained Embedding3.1 Framework3.2 Optimizing Method3.3 Proposed Model3.4 Complexity Analysis4.实验4.1 数据集4.2 Link Prediction4.3 Instan…

统计学权威盘点过去50年最重要的统计学思想

来源:量化研究方法作者:陈彩娴、Mr Bear编辑:青暮近日,图灵奖得主、“贝叶斯网络之父”Judea Pearl在Twitter上分享了一篇新论文“What are the most important statistical ideas of the past 50 years?”(过去50年中…

19-A Walk-based Model on Entity Graphs for Relation Extraction(句内多对,多关系,多元,2018ACL

文章目录abstract1.introduction2 Proposed Walk-based Model2.1 嵌入层2.2 Bidirectional LSTM Layer2.3 Edge Representation Layer2.4 Walk Aggregation Layer2.5 Classification Layer3.实验3.1数据集3.2 Experimental Settings5.结果6.相关工作6.总结Christopoulou, F., e…

CCCF精选 | 李德毅:机器如何像人一样认知——机器的生命观

如果上一代人工智能可以叫做计算机智能,硬核是算力、算法和数据的话,那么新一代人工智能应该是有感知、有认知、有行为、可交互、会学习、自成长的机器智能,其硬核是交互、学习和记忆,而量子认知机的落地应用,则可能是…

量子混沌:相互作用如何影响量子多体系统的局域化?

导语在量子系统中,相干性会打破单个粒子的遍历性,使之进入一种动态局域化状态。对于包含相互作用的量子多体系统,情况会是怎样呢?近日发表于 Nature Physics 的两项研究通过实验证明,相互作用会破坏量子多体系统的动态…

可能是全网最简明的量子纠缠科普

前两天有位朋友抱怨,说是看了很多学者关于量子纠缠的科普,但还是一头雾水,没有一个人真的讲明白的。我就上网搜了几个看。确实,大多数科普要么是光顾着讲爱因斯坦和波尔打嘴炮的历史了,不讲物理;要么讲着讲…

20-Joint entity and relation extraction based on a hybrid neural network(LSTM-ED+CNN),考虑长距离的实体标签之间的关

文章目录abstract1.introduction2.相关工作2.1. Named entity recognition2.2. Relation classification2.3 联合模型2.4. LSTM and CNN models On NLP3.模型3.1. Bidirectional LSTM encoding layer3.2. Named entity recognition (NER) module:LSTM decoder3.3. Relation cla…

牛津大学团队采用先进机器人技术,推动「人造肌腱」实际应用

你知道“肩袖撕裂”吗?它是肩关节炎疼痛的常见原因之一。作为肩袖撕裂损伤中最为常见的肌腱损伤,每年世界范围内的患者高达几千万人。该病痛给患者带来巨大疼痛,甚至导致肢体功能丧失,无法正常生活和工作,造成极大的家…

finetune与Bert

文章目录一:过拟合1.1 直接finetune1.2 layer finetune1.3ULMFiT2 Bert节省内存3 Bert蒸馏4.post train一:过拟合 1.1 直接finetune 容易过拟合 1.2 layer finetune 拷贝部分预训练参数,而其他随机初始化 两部分一同训练:提升…

《Nature》长期寻找,终于发现直接促进神经递质“弹药库”的蛋白质

来源:生物通俄勒冈健康与科学大学(Oregon Health & Science University)的科学家们发现了一种长期寻找的基因编码蛋白质,这种蛋白质能使大脑在神经元之间的间隙(称为突触)之间传递广泛的信号。科学家们发现了一种长期寻找的基因编码蛋白质&#xff0…

机器翻译

1 模型 1.1 模型 1.2 RNNBeam searchAttention 损失函数:交叉熵 预测:不使用解码器而是beam search #paddlepaddle from __future__ import print_function import os import six import numpy as np import paddle import paddle.fluid as flui…

姚能伟:以邻盛智能为例,如何在行业大脑进行创新实践

报告内容摘要随着技术发展,未来一定是智慧的时代。为此我们提除了感知世界,透视数据,洞察未知为理念的新型技术探索与实践。依托多年项目经验与行业专业积累,形成了一些行业深度的解决方案。在实践过程中形成了客观世界的泛感知和…