CCAI2018演讲实录 | 蒲慕明:脑科学与类脑机器学习

640?wx_fmt=jpeg

来源:人工智能前沿讲习班

摘要:7月28-29日,由中国人工智能学会和深圳市罗湖区人民政府共同主办,马上科普承办的“2018 中国人工智能大会(CCAI 2018)”完美收官。


大会第二天下午,中科院神经科学所所长,中国科学院院士,美国国家科学院院士蒲慕明作题为《脑科学与类脑机器学习》的主题演讲。


以下是根据速记整理的大会讲座实录。

640?wx_fmt=jpeg

蒲慕明 中科院神经科学所所长,中国科学院院士,美国国家科学院院士


皮层的作用



在近代神经生物学上和脑科学上,最大的进展就是:在19世纪中后期,法国医生和科学家波卡(Broca)通过解剖失语症病人,发现了Broca区。他是第一个给大脑功能定位的科学家。从他开始,脑科学家们逐渐认识到不同脑区主管不同的功能。同时,各个脑区之间有高度的联接,特别是侧向联接。高度的横向连接在处理多感觉信息整合时具有优势。这也正是人工智能做多模态整合时需要解决的问题。


20世纪的脑科学到底有什么进展?


20世纪脑科学进展主要是对于神经元如何编码、储存和提取神经信息的理解比较清楚。从20世纪初期到21世纪初,与神经科学相关的诺贝尔奖得主都是在解决神经元如何编码、存储和提取信息的,都是在细胞水平而不是网络水平进行研究。


神经细胞都有局部环路和长程环路。一个功能的出现,必须要求神经元环路中神经元在适当的时候放电。脑网络如何产生诸如知觉、情绪、思维、抉择、语言等高等脑认知功能?我们对此理解极为粗浅。


现在说起来脑科学的进展,打一个比喻,相当于物理学、化学在19世纪末和20世纪初的状态,新的理论和关键技术还没有出现的时候,这是脑科学现在的状态。我们不要对脑科学有过度乐观的期待。

640?wx_fmt=jpeg


脑科学与类脑智能研究的关系


历史上人工智能出现了三次浪潮,每次往上的推动都是从神经科学里得到的启发。例如,McCulloch和Pitts在1943年提出MP神经元模型,以及80年代Hopfield算法、BP算法。最近的深度网络学习,它包括多个层次,每个层次具有不同的功能,这也是从视觉系统得到的启发。


要理解大脑需从三个层次上分析


第一个是宏观层次。通过核磁成像的技术可以得到粗略的神经束的走向,但单单只了解神经束的走向对于理解脑功能并没有太大贡献。我们要进一步了解大脑必须要达到神经元水平。第二个就是介观层面,空间分辨率要达到微米。用特殊方法来标记不同的神经元种类,了解不同神经元的功能。介观神经连接图谱是目前神经科学的主要方向。第三个是微观层面,微米到纳米尺度。在微观层面对神经元轴突和树突的分布以及突触产生规律的研究可以得到很多有用信息的。


突触传递过程非常复杂


所有神经元是通过电信号来传递信息,但是电波不能直接传到下一个细胞。突触前的信号造成化学物质的释放,会由于释放的化学物质不同可以造成突触后细胞的激活性或抑制性电信号反应。这样就大大增加了神经网络处理信息的能力。


解读整个神经网络的难点


第一个难点就是每一种脑功能都有大量神经元集群参与,简单的视觉输入就有百万千万的神经元被激活。我们非常缺乏非干扰性大量观测神经元集群活动的技术。美国脑计划主要就是在开发脑研究新技术,新技术主要是观测技术,还有能够分析大量神经元动态信息的大数据分析方法。大数据分析不是盲目分析,我们需要有理论指导,用数据去检测这个理论的准确性。

640?wx_fmt=jpeg


突触可塑性与Hebb假说


可塑性是大脑认知功能的基础,可塑性使得大脑网络形成新的状态,就会产生新的行为。大脑是不断在变的,每一个活动都引起功能和结构的变化。Hebb(DonaldHebb是加拿大的心理学家)认为:同步的电活动可造成突触加强或稳固。如果两个神经元同时发放,他们之间的突触联接就会加强;如果不同步,那么突触前后的连接就会削弱。


可塑性的现象最早是由中国科学家冯德培发现。冯德培在英国拿到博士学位回国之后,在协和的生理系建立了实验室,专门研究神经肌肉接头的功能。1946年,在他的系列论文的26篇中报告了一个现象:在神经肌肉接头的突触,通过高频的刺激,可以引起突触后肌肉电活动的加强,这个加强长达十分钟之久。


突触的效率因为电活动而改变,很快的几秒钟高频刺激,产生的后果是十几分钟的突触增强,这就是可塑性。冯德培1941年发现的现象,是可以拿诺贝尔奖的,但是冯德培先生90年代过世了。到20世纪70年代,人们才在中枢神经系统中发现了类似的现象,被称为长时程增强(LTP)和长时程减弱(LTD)。电活动过后,在脑网络里留下了长期的痕迹,就是记忆,记忆就是储存在神经传递的效率变化之上。


突触可塑性除了突触效率的改变,还有突触结构的变化。为什么轴突不直接把信息送到树突上而是传递到树突棘上呢?其中原因一直没有人知道。在耶鲁大学做教授的时候,张香桐提出了一个假说:树突棘(微小的突起)可以作为调节突触传递效率的结构。现在,学界公认树突棘可以作为调节突触权重的结构。


赫伯(Hebb)细胞群假说


赫伯认为改变连接强度就是储存记忆——记忆储存在网络中,并不由单独的位置储存;把已经储存记忆的细胞群再激活,电活动再出现,记忆就会被提取。比如说我们从小时候开始,祖母面孔就不断的激活我们的细胞,眼睛、嘴巴、鼻子等都会特定激活一群细胞,整个大细胞集群在祖母面孔出现时候集体放电。通过这个超级赫伯细胞群,我们长大了以后,只要看到祖母的眼睛,部分的细胞群激活了,就可以唤起祖母面孔的记忆。


赫伯细胞集群假说可以做进一步补充。祖母是一个概念,这个概念包含了她的面孔,还包含了声音、唱的歌、名字,我看到这些所有的特征,任何其中一个特征,都可以换起对整个祖母全部特征的反映。这个概念是一个超级超级细胞群,她唱的歌也许储存在听觉区,她的面孔在视觉区,味道在嗅觉区,这些信息在跟祖母相关的事情出现的时候,都会同步被激活。这是一种多脑区同步放电活动,是一种超级超级赫伯细胞群的放电。


大脑认知的关键就是信息捆绑的问题。


各种信息如何整合产生一个整体?多年来流行的假说就是聚合型假说:各个组成的成分都在放电,它们都通过轴突输入到另一个神经元,该神经元同时收到各个组合成分的神经元信号,同时整合了这个信息。


人们最早是在视皮层发现证据(这是Hubel和Wiesel得诺贝尔奖的工作)。在视皮层或者视网膜上能够引起神经元活动的区域我们称为视觉感受野。从丘脑里面细胞的点状感受野到视皮层整合成线状。由点到线的整合就是一种信息捆绑。然而,还有其他的可能性,例如同步放电模型:各种组合成分的神经元在某一信息出现后就一起放电,同步电活动本身活动就代表了整合信息。


大脑网络形成的过程


在发育过程中,一个月的婴儿并没有什么网络,在两岁、三岁之间会生成很多的树突和轴突,从而形成非常复杂的网络。这是非常令人吃惊的现象,这就说明神经元的基本结构是基因决定的,但是网络是在出生以后才建立的,出生以后是各种各样的学习、经验在起作用。早期的修剪过程是非常重要的,早期修剪的太少可能是自闭症,过多可能是精神分裂症,所以网络的修剪是正常网络形成必要的一环,修剪不好就造成疾病。

640?wx_fmt=jpeg


突触是记忆的储存位点


突触储存记忆有两种储存方式:一种是改变突触权重;另一种是突触连接结构的修饰——新的连接形成,原有连接的改变。大脑在发育期与成年期有不同的可塑性,大脑发育期有大幅度的神经结构修剪,使得新的突触产生,经验是主导网络修剪的主要因素;成熟大脑神经网络只有有限的可塑性,是在原有的突触上增加一点效率,这是经验和记忆所必需的。每个人的网络都不一样,每个人的性格都不一样,这是因为我们每个人的经验都不一样,所以我们处理信息的方式都不一样,这就是成熟网络的表现。


赫伯学习法则的新转折


赫伯认为同时放电的神经元连在一起,不同步放电就网络连接,但是20年前出现了新的转折——强化或者弱化不只是同步,而且有时序性。突触前放电先于突触后放电,突触强化,反过来就弱化,这种有时序信息的现象我们称为时序信息依赖的可塑性(STDP)。现在已经有人在人工网络上运用STDP。


我们可以做一个简单的游戏,把贝多芬的《致爱丽斯》正序弹奏每个人都会听出来,反过来弹却没人会听出来是什么曲子,这是因为记忆是有时序性的。


可塑性对人工智能发展曾有过关键性贡献


Hopfield人工神经网络,每一个突触点赋予某一权重,单元将所有输入加合,各突触的权重可以用赫伯学习法则调节。BP(反向传播)算法可以用来学习说话,FrancisCrick对此作出了高度评价,在“The  recent  excitement about  neural networks”文章中认为BP算法非常惊人,但是也提出大脑中似乎没有这种机制,大脑的是轴突的信息送到树突的单向过程,而没有反馈信息。几年以后,我们通过记录多个神经元来验证这种说法是否真实。


我们发现突触前神经元内存在逆向传播和侧向传播,突触后只有侧向传播,没有前向传播。轴突终端产生的LTP可以在突触前神经元往回传,但不能往在突触后往前传,我们称这种现象叫做naturalBP。现在在自动化所,我们将natural  BP应用到人工神经网络上面,希望对非监督或者半监督学习有点帮助。

640?wx_fmt=jpeg


最后做一些总结


1.可借鉴的自然神经网络特性


(1)神经元的种类


兴奋性和抑制性神经元活动的平衡是正常网络功能所必要的。


①突触延迟(synaptic delay)在神经环路中起关键作用。

②抑制性中间神经元通常出现在兴奋性输入之后,可防止神经元过度兴奋,可消除脉冲序列(spiketrain)的尾巴以提高信息的时间精确度(temporal precision),可通过抑制旁侧的神经元的兴奋性以增加对比信息的空间精确度(spatialprecision)。


(2). 多方向(顺向、逆向、侧向)的神经连接


连接不只有一个方向,大多数的连接是正向的,也有逆向的,也有侧向的,而且兴奋性和抑制性神经元都有多方向的联接,而且是有空间和神经元种类特异性的联接。


(3).神经突触的可塑性


①突触的功能有可塑性:传递效率的增强与消弱(LTP/LTD); 可依赖于突触前后神经元同步电活动的频率,也可依赖于突触前后神经元电活动时序(STDP)。

②突触结构可塑性:包括树突棘的形态变化,和突触的新生(formation)与修剪 (pruning)。

③突触可塑性的传播; LTP和LTD的有序传播:包括逆向转播(Back-Propagation),突触效率可减弱也可增强,和侧向传播(LateralPropagation)有选择性地在突触前和突触后传播。


(4).记忆的储存、提取与消退


理解记忆不应只关注储存问题,还有记忆消退问题, 消退的意义可能比储存还要更重要。


①记忆的储存:网络中特定突触群的效率与结构修饰。

②记忆的遗忘:突触功能与结构修饰会随时间消退。

③短期记忆转化为长期记忆:有规则重复的重要性。

④记忆提取:电活动的再现于储存记忆的突触群。

⑤强化学习:依据输出的结果对学习相关突触群的修饰, 调质神经元在修饰中的作用。

(5).赫伯神经元集群概念的应用


①使用嵌套式集群来组成多成分、多模态的信息。

②不同模态的信息在网络的不同区域处理时,可通过侧向连接进行交互影响。

③可使用同步或有相差的电活动来捆绑不同区的神经集群。

④输入信息的拓扑结构在传输过程中的不同层面有所保存。


 2.对人工神经网络/机器学习的建议


一是“摆脱”深度学习网络的诱惑。


二是建立全新的人工网络架构和算法,目标是高效、节能、无监督或者半监督学习。


三是以脉冲神经网络为基础,加入传递延迟。每一个突触传递都有一个时间延迟,这是很多网络处理信息的关键。


四是从简单网络为基础,每次加入一个自然神经网络的特性,检测其效能,然后逐步完善。


未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

640?wx_fmt=jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/493920.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Django搭建简易博客

Django简易博客,主要实现了以下功能 连接数据库 创建超级用户与后台管理 利用django-admin-bootstrap美化界面 template,view与动态URL 多说评论功能 Markdown与代码高亮 归档,AboutME和标签分类 搜索与ReadMore RSS与分页 需要添加的安装包 pip i…

HDU 4619 Warm up 2 (多校)

题意:在网格里面给定了 横,竖 两种多米诺骨牌,同向的不可以覆盖,不同向的可以覆盖,问你最多去掉多少个有覆盖的多米诺,使得网格内剩余的多米诺骨牌最多 解题思路: 一.搜索 (1&…

工业智联网: 基本概念、关键技术与核心应用

来源:王飞跃科学网博客作者:王飞跃, 张军, 张俊, 王晓摘要:本文首先阐述了工业网联技术的演化过程,重点讨论了工业智联网产生的技术和时代背景.然后探讨了工业智联网的基本概念、内涵与应用领域。本文详细介绍了工业智联网的关键技…

KMP算法学习

kmp算法完成的任务是:给定两个字符串O和f,长度分别为n和m,判断f是否在O中出现,如果出现则返回出现的位置。常规方法是遍历a的每一个位置,然后从该位置开始和b进行匹配,但是这种方法的复杂度是O(nm)。kmp算法…

生命或可在星际间传播

来源:中国科学报去年,当一颗美式足球场大小的雪茄形天体Oumuamua进入太阳系时,它并非仅仅让人们第一次看到了一块星际岩石。根据一项新的研究,这也支持了太空岩石通过在遥远的恒星系统之间运送微生物,从而在星际间传播…

操作系统(二): 进程与线程

操作系统(二): 进程与线程 本章解读 进程管理是操作系统重点中的重点,涵盖了操作系统中大部分的知识和考点。其主要包括四部分:进程与线程,处理器调度,同步与互斥,死锁。所以我准备分四个部分来解释这四个模块。进程与…

Nature最新研究:超9000学者每5天发1篇论文,这些高产作家背后的科研圈

来源:悟空智能科技发论文发论文发论文……你有没有想过,假如你能够一周发一篇论文,这样坚持10年甚至20年,你能成为全球最高产的学者吗?答案可能吓你一跳:不能。不但不能,你甚至连全球前10000名都…

Android之WebView学习

WebView常用方法 WebSettings 在使用WebView前我们都要进行相关的配置,常见的操作如下: WebSettings settings mWebView.getSettings();settings.setJavaScriptEnabled(true); //支持javascriptsettings.setUseWideViewPort(true); //设置webv…

跌宕中,特斯拉拿下上海工厂,给蔚来们留下不到两年窗口期

来源:网易智能昨日,特斯拉上海工厂尘埃落定。特斯拉与上海规划与国土资源管理局签订协议,以9.73亿人民币拿下上海临港约1297.32亩地建造汽车工厂。据悉,这是特斯拉在美国之外设立的首个超级工厂。根据特斯拉的规划,上海…

2019科学突破奖揭晓 庄小威陈志坚许晨阳上榜

来源:科学网10月17日,科学突破奖(Breakthrough Prize)名单揭晓。总计2200万美元的奖金分别给了婴儿死亡主要遗传因素治疗、超分辨率成像、发现一种新型电子材料以及其他重大突破。华裔科学家庄小威、陈志坚、C. Frank Bennett 、A…

Android之IPC机制

Android IPC简介 任何一个操作系统都需要有相应的IPC机制,Linux上可以通过命名通道、共享内存、信号量等来进行进程间通信。Android系统不仅可以使用了Binder机制来实现IPC,还可以使用Socket实现任意两个终端之间的通信。 IPC基础概念介绍 (1)Seriali…

HTML5与原生APP之争胜负已出?

早在HTML5技术问世之时,有关网络应用与原生应用谁将成为移动终端霸主的问题,就曾引起过广泛的争论。时至今日,不仅关于二者孰强孰弱的争论已然平息,就连备受关注的移动互联网创业公司也大多是做原生APP的,未曾见过HTML…

5G 产业链:基站天线和小基站爆发潜力大

来源:国信证券5G宏基站数的翻倍增长及技术演进带来基站天线成倍增长空间。5G关键性能指标十倍的增长需要基站数翻倍增长以支撑。5G的三个关键的效率需求包括频谱利用效率、能耗效率和成本效率。具体来说,5G在频谱效率、能源效率和成本效率的提升需求在十…

操作系统之死锁

死锁的概念以及产生死锁的原因 一组进程中,每个进程都无限等待被该组进程中另一进程所占有的资源,因而永远无法得到的资源,这种现象称为进程死锁,这一组进程就称为死锁进程,如果死锁发生,会浪费大量系统资源&#xff…

2018全球最佳品牌Top25:时代巨变的一个缩影

来源:资本实验室10月15日,希尔斯控股正式向美国破产法院申请破产保护。这一消息传出,即引发了全球关注。作为19世纪八十年代末以邮购业务起家的零售商,希尔斯百货已经历一百多年的世事变化与市场风云,毫无疑问是美国零…

香港2013迷你制汇节即将启幕

“制汇节是一个世界的盛事。在亚洲,有深圳迷你制汇节和台湾迷你制汇节。在美国,2013年港湾地区制汇节刚刚在5月圆满举办。来自世界各地的maker展示了他们伟大的作品并分享了他们的智慧。我们相信香港也有很多maker,第二届香港迷你制汇节正在开…

重磅!Gartner公布2019年十大战略科技发展趋势

来源:网络大数据摘要:10月14日至18日,分析师在Gartner Symposium/ITxpo 2018大会探讨了在2019年企业与组织需要探索的十大战略技术趋势(Gartner Top 10 Strategic Technology Trends 2019)。Gartner将战略性技术趋势定义为具有巨大破坏性潜力…

sixxpack破解的文章!【转】

星期天闲着没事玩游戏,玩游戏不能无外挂。于是百度了半天,找到了一个,看介绍貌似不错,就下载了下来。一看,竟然是用.net写的,下意识地Reflector了一下。发现竟是一个叫actmp的程序集。如图: 随…

postgres与osm初步使用

layout: post title: postgres与osm初步使用 date: 2016-9-20 categories: blog tags: [地图开发] description:地图开发 本文主要包括以下内容 postgreSQL数据库,用来存放地图原始数据osm2pgsql 用来将osm地图数据导入到postgreSQL  OSM数据 OpenStre…

XxIJob入门-示例

一、部署 xxlJob (一) 下载地址, git clone 到本地。 http://gitee.com/xuxueli0323/xxl-job https://github.com/xuxueli/xxl-job (二) 插入 xxl_job 的sql脚本: 在项目的 /xxl-job/doc/db/tables_xxl_job.sql ,找到sql脚本&#xff0c…