深度学习巨头Yoshua Bengio清华演讲: 深度学习通往人类水平人工智能的挑战

640?wx_fmt=jpeg

来源:专知

摘要:2018年11月7日晚,被称为“深度学习三巨头”之一的蒙特利尔大学计算机科学与运算研究系教授Yoshua Bengio在清华大学做了《深度学习抵达人类水平人工智能所面临的挑战(Challenges for Deep Learning towards Human-Level AI》的学术报告。Yoshua Bengio教授客观的说,目前人工智能距离人类水平还仍然十分遥远,人工智能在工业应用的成功主要得益于监督学习方法,人工智能仍然面临巨大挑战,尤其在人类智能机理方面的研究还亟需加强。在报告中,Yoshua Bengio深度探讨了深度学习模型的具体内容,如何实现对抽象特征的多层次学习,如何更好地进行表示学习,使用判别器优化信息间的独立性、相关性和熵,Baby AI框架等话题。


Yoshua Bengio

640?wx_fmt=jpeg


Yoshua Bengio教授是蒙特利尔大学计算机系教授和加拿大科学院院士,被称为神经网络三巨头之一。著有《Deep Learning》、《Learning Deep Architectures for AI》、《A neural probabilistic language model》等多部畅销书/课本。在他的倡导下,加拿大成立了Mila研究院,专注研究人工智能和深度学习。也正是因为在深度学习方面的重要贡献,Yoshua Bengio教授获得了加拿大总督功勋奖,该奖项主要为了纪念做出了卓越成就或者对国家做出了重大贡献的各领域人士,是加拿大公民的最高荣誉之一。



演讲报告


640?wx_fmt=jpeg



人工智能的目标是让计算机能够进行人与动物所擅长的「决策」,为此,计算机需要掌握知识——这是几乎全体 AI 研究者都同意的观点。他们持有不同意见的部分是,我们应当如何把知识传授给计算机。经典 AI(符号主义)试图将我们能够用语言表达的那部分知识放入计算机中。但是除此之外,我们还有大量直观的(intuitive)、 无法用语言描述的、不能通过「意识」获得的知识,它们很难应用于计算机中,而这就是机器学习的用武之地——我们可以训练机器去获取那些我们无法以编程形式给予它们的知识。


640?wx_fmt=jpeg


深度学习和 AI 领域有很大进步、大量行业应用。但是它们使用的都是监督学习,然而这些模型非常脆弱,极易受到外界干扰。

640?wx_fmt=jpeg


现在的系统的失败之处在于,它们无法捕捉我们真正想让机器捕捉到的高级抽象(high level abstraction)。而这样的表征可以捕捉构成数据的根本因素。

640?wx_fmt=jpeg


如何发现好的纠缠表征?一个好的表征空间中,不同要素的变化应该可以彼此分离。除了解纠缠变量,我们还希望系统能解纠缠计算。解纠缠和因果的概念相关,而因果正是机器学习界需要重点关注的领域。

640?wx_fmt=jpeg


人类的认知任务可以分为系统 1 认知和系统 2 认知。系统 1 认知任务是那些你可以在不到 1 秒时间内无意识完成的任务。例如你可以很快认出手上拿着的物体是一个瓶子,但是无法向其他人解释如何完成这项任务。这也是当前深度学习擅长的事情,「感知」。系统 2 认知任务与系统 1 任务的方式完全相反,它们很「慢」。大多数人需要遵循一定的规则、按照步骤完成计算。这是有意识的行为,你可以向别人解释你的做法,而那个人可以重现你的做法——这就是算法。计算机科学正是关于这项任务的学科。而我对此的观点是,AI 系统需要同时完成这两类任务。

640?wx_fmt=png

意识空间里的事物维度很低,因而可以在这样的空间里进行推理。意识先验就是假设有很多只包含很少变量但为真的事情,因此,好的表示的一个性质,就是当我们把数据映射到表示空间之后,变量之间只有少数相关。

640?wx_fmt=png

那么要如何实现这种表征呢?对此,注意力机制是一种很重要的工具。注意力机制可以按顺序选取重点关注的信息,来实现整个系统的端到端训练。我们不需要设计一个独立的系统来做这种选择。你可以将注意力机制作为在某些全局目标下端到端训练的更大系统的一部分。而这正是深度学习擅长的地方。

640?wx_fmt=png

在架构方面,意识先验在「原始输入」和「某些更高级的表征」之外,还引入了第三个层次:这也就是有意识状态(conscious state)。

640?wx_fmt=png

这个理论框架还有非常多的细节需要完善,去年我们主要关注其中的一个方面:目标函数机器学习深度学习中的标准训练目标函数都基于最大似然估计,而即使与最大似然无关的目标函数,例如 GAN 的一些目标函数,也是在像素级别进行构建的。然而,我们实际上想要在隐藏空间中表现出可预测性。


640?wx_fmt=jpeg


现在的NLP任务只是在文本+标注上训练模型。


640?wx_fmt=jpeg

这样会出现很多常识性的错误,因为它并没有理解语言内在的含义。


640?wx_fmt=jpeg


要真正理解自然语言,不仅要对语言本身建模,还要对所处环境进行建模。要将语言学习和世界运转方式的学习相结合。


640?wx_fmt=jpeg


机器需要对事物之间的因果联系进行建模。

640?wx_fmt=jpeg

BabyAI通过19个由易到难的游戏关卡而不断学习,就像婴儿成长的过程一样。这很像课程学习(curriculum learning)。


未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

640?wx_fmt=jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/493671.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HDU 4431 Mahjong(模拟题)

题目链接 写了俩小时把....有一种情况写的时候漏了...代码还算清晰把&#xff0c;想了很久才开写的。 1 #include <cstdio>2 #include <cstring>3 #include <algorithm>4 using namespace std;5 int p[21],flag[60],o[21],ans[60];6 int sp[21];7 int que[21…

了解GAN网络

GAN网络&#xff0c;第一次听说它就不明觉厉。其他网络都是对输入图像进行某种处理&#xff0c;得到某种特定的输出。而GAN网络居然可以“无中生有”&#xff0c;无论是去除马赛克&#xff0c;还是换脸&#xff0c;还是对灰度图像上色&#xff0c;都显得不可思议&#xff0c;怎…

新能源汽车:大变革催生十万亿市场空间

来源&#xff1a;新时代证券&#xff08;开文明&#xff09;新能源汽车发展空间巨大&#xff0c;随着新能源汽车性能提升以及痛点的改善&#xff0c;新能源汽车带来的冲击越来越大&#xff0c;渗透率随之提升。根据BNEF预测&#xff0c;到2025年全球新能源汽车的销量将达到1100…

dlib+vs2013+opencv实现人脸特征点检测

刷知乎的时候发现dlib做特征点检测和人脸识别的效果都好于OpenCV&#xff0c;就想着动手玩一下。没想到也是遇坑重重。 首先&#xff0c;在官网 install命令和setup.py文件进行安装时报错&#xff0c;先是报错cmake没有找到&#xff0c;添加了环境变量之后仍然报错c11需要在vs…

对号入座,看看未来几年机器人是否会取代你的工作

来源&#xff1a;资本实验室摘要&#xff1a;面对未来&#xff0c;你是否准备好了&#xff1f;“机器是否会取代人类的工作”是当前讨论最多的话题之一。这主要源自于近几年以人工智能为代表的新技术的快速发展与商业化。尽管各研究机构的预测数据有所不同&#xff0c;但相同的…

Ubuntu13下调试USB AUDIO的一些记录

最近想玩玩LINUX,于是双系统装了一个Ubuntu13.04。 在新系统下用着都还好&#xff0c;不过我自己DIY的USB DAC出了问题。在WIN7下能正常工作&#xff0c;但是在Ubuntu下就爆音不断&#xff0c;很明显是音频数据流断流引起的。 这说明stm32上的固件与Ubuntu的USB AUDIO驱动程序不…

冈萨雷斯《数字图像处理》读书笔记(十一)——表示和描述

虽然不是专门研究图像分割的&#xff08;峰兄才是&#xff09;&#xff0c;但多少接触了一点&#xff0c;并且图像分割是图像处理中的最为复杂的&#xff0c;通过图像分割可以很好地认识图像处理的好多方法。今天看的是边界追踪和链码的表示。网易计算机视觉工程师的第一道选择…

细胞内钾多钠少——原初生物的第三大遗迹?

来源&#xff1a;科学网在我们每日的饮食中&#xff0c;食盐&#xff08;氯化钠&#xff09;是少不了的&#xff0c;难以想象我们怎么能够每天吃完全没有盐味的食物。不仅人类如此&#xff0c;许多动物&#xff0c;例如食草的动物如牛和羊&#xff0c;也会主动寻找土表盐粒。我…

MSBuild的简单介绍与使用

MSBuild 是 Microsoft 和 Visual Studio的生成系统。它不仅仅是一个构造工具&#xff0c;应该称之为拥有相当强大扩展能力的自动化平台。MSBuild平台的主要涉及到三部分&#xff1a;执行引擎、构造工程、任务。其中最核心的就是执行引擎&#xff0c;它包括定义构造工程的规范&a…

冈萨雷斯《数字图像处理》读书笔记(九)——形态学图像处理

形态学来自于生物学&#xff0c;研究动植物的形态和结构。运用在图像中可提取如边界、骨架和凸壳。初学形态学都是在二值化的图像上研究&#xff0c;之后可以扩展到灰度图像。 膨胀和腐蚀 数学形态学与集合论分不开&#xff0c;因为形态学中的操作是基于两个集合的&#xff0…

云计算行业现状及未来发展趋势

来源&#xff1a;国元证券、乐晴智库摘要&#xff1a;按照服务类型云计算被分为IaaS、PaaS、SaaS。▌云计算产业链构成按照服务类型云计算被分为IaaS、PaaS、SaaS。IaaS基础设施及服务:IaaS主要提供计算基础设施服务&#xff0c;主要包括CPU、内存、存储、网络、虚拟化软件、分…

冈萨雷斯《数字图像处理》读书笔记(三)——空间滤波

滤波这个词来源于频域处理&#xff0c;因为它的目的就是针对频率分量而言的&#xff0c;滤除一定的频率分量。但其实滤波在时域&#xff08;图像中对应为空域&#xff09;中也可以完成相应的操作&#xff0c;比如低通滤波器滤除了代表细节的高频分量&#xff0c;我们可以直接在…

WinInet:HTTPS 请求出现无效的证书颁发机构的处理

首先&#xff0c;微软提供的WinInet库封装了对网页访问的方法。 最近工作需要从https服务器获取数据&#xff0c;都知道https和http网页的访问方式不同&#xff0c;多了一道证书认证程序&#xff0c;这样就使得https在请求起来比http要复杂的多&#xff1b;好在&#xff0c;Win…

热度下的冷思考——智能眼镜到底有没有前途?

来源&#xff1a;环球网我们曾期望Google眼镜能够成为革命性的新产品&#xff0c;因为它某种程度上实现了大家对未来的幻想。然而Google眼镜作为概念产品虽然有趣&#xff0c;但它仍然太不成熟&#xff0c;而且因为存在侵犯隐私的可能还被大众抵触&#xff0c;更重要的是它花去…

TFRecords文件的存储与读取

将cats和dogs两个文件夹各1000张图片存储为&#xff1a;train.tfrecords#将图片文件生成train record import os import tensorflow as tf from PIL import Image #生成cats和dogs的record文件 path./data/train filenamesos.listdir(path) writertf.python_io.TFRecordWriter(…

《C++ Primer》读书笔记 第三章

1.注意&#xff1a;头文件不应包含using声明。因为头文件的内容会拷贝到所有引用他的文件中去&#xff0c;对于某些程序来说&#xff0c;由于不经意间包含了一些名字&#xff0c;可能会产生名字冲突。2.string类型的读入&#xff1a;用cin读入string&#xff0c;忽略所有的前置…

对比激光SLAM与视觉SLAM:谁会成为未来主流趋势?

来源&#xff1a;智车科技摘要&#xff1a;SLAM&#xff08;同步定位与地图构建&#xff09;&#xff0c;是指运动物体根据传感器的信息&#xff0c;一边计算自身位置&#xff0c;一边构建环境地图的过程&#xff0c;解决机器人等在未知环境下运动时的定位与地图构建问题。目前…

链表中的指针

中期答辩改在了国庆之后&#xff0c;终于有时间可以看看剑指offer了。在看到单向链表的部分&#xff0c;对指针&#xff0c;尤其是头指针有点疑惑。首先容易理解的是链表的节点是一个结构体&#xff0c;该结构体包含一个数据&#xff08;一般是int型&#xff09;&#xff0c;还…

实现TFrecords文件的保存与读取

import os import cv2 import numpy as np import tensorflow as tf """ 将train文件夹下的cats和dog文件夹处理成train.tfrecords放在train文件夹里 """ #将图片的路径和对应的标签存储在list中返回 def deal(dir):images []temp []for root,…

工具推荐-css3渐变生成工具

今天工作用到了css3渐变&#xff0c;但是写起来才发现太麻烦了&#xff0c;而却很浪费时间&#xff0c;所以在这里向大家推荐一个在线的css3 渐变生成工具 地址是&#xff1a;http://www.colorzilla.com/gradient-editor/ 这个工具是可视化视图&#xff0c;用起来就和photoshop…