类脑信息处理研究取得进展

来源:AAAI2018

概要:近期,中国科学院自动化研究所类脑智能研究中心类脑信息处理(BRAVE)研究组,在研究员张兆翔的带领下,在借鉴生物神经结构、认知机制与学习特性的神经网络建模与类人学习研究中取得了一系列突破性进展。


近期,中国科学院自动化研究所类脑智能研究中心类脑信息处理(BRAVE)研究组,在研究员张兆翔的带领下,在借鉴生物神经结构、认知机制与学习特性的神经网络建模与类人学习研究中取得了一系列突破性进展。该研究组在“视听模态的生成、融合”以及“智能体之间的知识迁移”取得了重大突破,系列成果发表在AAAI 2018上。

 

 在“视听模态的融合”问题中,该研究组提出了有效将听觉信息融合在视频描述生成框架中的特征融合策略,并取得了理想的效果; 在“视听模态的生成”问题中,该研究组提出了一个跨模态循环对抗生成网络、一个联合对应对抗损失函数和一个动态多模态分类网络,构建出更有效的视听跨模态相互生成模型;在“智能体之间的知识迁移”问题中,该研究组将一种新类型的知识——交叉样本相似性引入到深度度量学习中,将知识形式化成一个教师和学生网络间的排序匹配问题,将经典的基于列的学习转换成排序学习算法,这一方法可大幅提高学生网络的性能,也可得到较传统方法更好的迁移性能。

 

1.视听模态的融合

 

视频描述生成在很多领域中有着潜在应用,比如人机交互、盲人辅助和视频检索。近些年来,受益于卷积神经网络CNN,递归神经网络和大规模的视频描述数据集,视频描述生成已经取得比较理想的结果。

 

大多数视频描述生成框架可以分为一个编码器和一个解码器,编码器对视频特征进行编码形成一个固定长度的视频特征向量,解码器基于该视频特征生成对应的视频描述子。研究者们针对定长的视频特征描述子提出了一些方法,比如对视频帧进行池化操作,下采样固定长度的视频帧,在递归网络视频特征编码阶段提取最后一个时刻的状态表示。

 

虽然上述方法均可生成比较合理的视频描述,但是这些模型的视频特征编码都只侧重于视觉信息而忽略了音频信息。该课题组认为,忽视声音模态会损害模型性能。比如,一个人躺在床上唱歌。大部分传统的视频描述生成方法只关注视觉信息而忽略声音信息,可能会产生语义不完整的句子:“一个人躺在床上”。如果可以将音频信息结合到模型中,就可以产生语义完整的句子“一个人躺在床上唱歌”。

 

2.视听模态的生成

 

视听模态是视频中的两个共生模态,包含相同和互补信息。利用共同信息可实现模态间的相互转换。同时,互补信息可作为先验去辅助相关工作。因此,充分利用视听模态间的共同和互补信息可以进一步增强相关任务的性能。然而,由于环境干扰和传感器故障等因素,其中的一个模态会受损或者缺失,从而带来一些严重的问题,比如消音的影片或者模糊的屏幕。如果可以基于已知模态生成缺失模态,会给许多多媒体任务带来好处。因此,课题组致力于创建有效的视听跨模态相互生成模型。

 

传统的跨模态相互生成方法主要存在以下几个问题,一是模态间存在严重的结构、维度和信息不对称性,导致跨模态相互生成的质量不理想。二是模态间的相互生成是独立的,具有很大的不便性。三是其训练过程并不是端到端的。

 

该模型包含四个子网络,分别为A-V(听觉到视觉),V-A(视觉到听觉),A-A(听觉到听觉)和V-V(视觉到视觉)子网络。每个子网络均由一个编码器和一个解码器组成。这四种子网络以对称的形式组成了两种生成路径,一种是V-A-V/A-V-A(视觉-听觉-视觉/听觉-视觉-听觉),另一种为跨模态生成路径A-A-V/V-V-A(听觉-听觉-视觉/视觉-视觉-听觉)。

 

受益于CMCGAN,课题组同时也提出了一个动态多模态分类网络。若输入有两个模态,则首先将它们进行融合然后输入到后续的分类网络中。若输入只有一个模态,则可基于CMCGAN生成缺失模态,然后将已知模态和缺失模态输入到后续的动态多模态分类网络中。在该研究中,研究组提出了一个跨模态循环对抗生成网络去实现跨模态的视听相互生成;提出了一个联合对应对抗损失函数将视听相互生成集成在一个统一的框架中,该损失函数不仅可以区分图像来自原始样本集还是生成集,而且可以判断(图像,声音)是否匹配;针对不同模态的输入,提出了一个动态多模态分类网络。 

 

3.智能体之间的知识迁移

 

度量学习是许多计算机视觉任务的基础,包括人脸验证,行人再识别等。近年,基于度量损失函数指导的端到端深度度量学习取得了很大的成功。这些深度度量学习成功的关键因素是网络结构的强大。然而,随着所需表征特征的增强,网络结构变的更深更宽从而带来了严重的计算负担。在现实世界的许多应用如无人驾驶上,由于硬件资源的限制,使用这些网络会导致系统产生严重的延时。为保证安全性,这些系统需要实时的响应。因此,很难将最新的网络结构设计应用到该研究的系统中。

 

为缓解该问题,研究者们提出了许多模型加速的方法,可简单分为三类:网络剪枝,模型量化和知识迁移。网络剪枝迭代地删除对最后决策不太重要的神经元或权值。模型量化通过降低网络中权值和激活函数的表达准确性来增加了网络的吞吐量。知识迁移使用一个更大更强的老师网络去指导一个小的学生网络的学习过程。在这些方法中,基于知识迁移的方法是最具实际价值的。跟其他需要定制硬件或者实现细节的方法相比,知识迁移在没有额外开销的情况下也可得到相当的模型加速性能。

 

知识蒸馏和它的变体是知识迁移领域的核心方法。尽管它们所使用的知识形式不同,但都只针对于单个样本。也就是说,这些方法中的教师网络不管在分类层还是中间特征层都只为每个样本提供监督信息。所有这些方法均忽略了另外一种有价值的度量——不同样本之间的关系。这类知识同样编码了教师网络中所嵌入的空间结构。同时,该种知识所使用的实例水平的监督信息符合度量学习的目标。图4展示了研究组的动机。右上角展示了知识迁移后学生网络可以更好的捕捉图像相似性。数字0与6的相似性比数字3、4、5与6的相似性更大,因此等级更高。该研究中,课题组解决了以下几个问题:将一种新类型的知识——交叉样本相似性引入到深度度量学习中;将知识形式化成一个教师和学生网络间的排序匹配问题,将经典的基于列的学习转换成排序学习算法并致力于解决它;在不同度量学习任务上测试该方法,均可极大地提高学生网络的性能。另外,与目前的方法融合后可得到更好的迁移性能。

 

以上研究得到了国家自然科学基金、微软合作研究项目的资助。

 

图1.三种视听觉特征深度融合框架

 

图2.动态多模态特征融合框架

 

图3.动态多模态特征融合框架

  

图4.智能体之间的知识迁移


论文1:http://xueshu.baidu.com/s?wd=paperuri%3A%2833257eb5a4845907061a66ba980e27fe%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fpdf%2F1711.08097v1&ie=utf-8&sc_us=8712703236201635526

论文2:http://xueshu.baidu.com/s?wd=paperuri%3A%28a24afad24a6d2ff89c7435392895d8df%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fpdf%2F1711.08102v1&ie=utf-8&sc_us=4500673835805782186

论文3:https://arxiv.org/pdf/1707.01220


未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。由互联网进化论作者,计算机博士刘锋与中国科学院虚拟经济与数据科学研究中心石勇、刘颖教授创建。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/497377.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

今天下午爽了一把!

呵呵,很久没这么爽爽地看电影了,一个下午居然连续看了三部电影!看到人不想看为止,实在是很过瘾的一个下午啊!只是是翘课看的电影,感觉有点不太好,最近真是越来越堕落了。看来要好好克制一下自己…

展望:共融机器人的基础理论与关键技术

来源:《国家科学评论》概要:自1959年工业机器人诞生以来,机器人在机械制造、国防安全、健康服务、科考与医疗等方面发挥出越来越重要的作用。自1959年工业机器人诞生以来,机器人在机械制造、国防安全、健康服务、科考与医疗等方面…

Introduce Explaining Variable(引入解释性变量)

难于理解的复杂表达式 if ((platform.toUpperCase().indexOf("MAC") > -1) &&(brower.toUpperCase().indexOf("IE") > -1) &&wasInitialized && resize > 0) {// do something } 重构后 final boolean isMacOS platf…

android sdk 目录说明,Android的sdk、api及工程目录说明

SDK下包的说明1:add-ons:Android开发需要的第三方文件和软件库2:docs:Android的文档。包括开发指南、API参考、资源等3:extras:扩展的附加包4:platforms:你安装下载的所有Android平台…

角色的改变

今年因为个人的原因,换了一个环境,一直都是做开发的,新的工作也是开发,开发部经理,怎么说还是开发。 可是时间越长越觉得操心的不仅是开发的问题了,负责我们公司的经理去美国读书去了,基本不管了…

哈萨比斯导师:人工智能媲美人类或需两百年,神经学是条出路

来源:澎湃新闻概要:从围棋到智能驾驶,深度学习缔造了眼下这一波人工智能热潮。在深度学习最热的两大关键词“AlphaGo”和“自动驾驶”,托马索波吉奥(Tomaso Poggio)都有声名卓著的学生,分别是De…

我的第一个blog

我的第一个blog 本来是为了 elvish ray 的开源注册的, 后来又在 sourceforge 注册了一个, 感觉那里的服务更专业, 这里还是说说闲话用吧……呵呵…… 当然还是会提供一些源码……posted on 2005-02-01 22:29 Len3d 阅读(...) 评论(...) 编辑 …

android sqlite 查询时间,android – sqlite日期查询

我是新的sqlite.我有一个有3列的表1. Id2. FoodName3. Date and time(ex: 1 Chicken 2012-08-10 13:54)我读到某处Android sqlite不提供日期数据类型.所以我使用文本数据类型在本地数据库中存储日期.它工作正常.现在我想写一个查询来检索两个日期之间的记录.我试过但我没有得到…

Split Temporary Variable(分解临时变量)

某个变量被赋值超过一次,它既不是循环变量,也不被用于汇总结果 double temp 2 * (height width); System.out.println(temp); temp height * width; System.out.println(temp); 重构后 final double perimeter 2 * (height width); System.out.p…

独家对话英伟达首席科学家:解码AI芯片战局

来源:智东西概要:独家对话Bill Dally博士,深度解读四大AI热点话题。从2017年1月底以来,英伟达的股价又从108美元一路飙升至240多美元,翻了一倍有多。而英伟达股价一飞冲天的背后,正是人工智能技术不断兴盛崛…

[翻译]2005年软件业界推出新产品非官方计划

虽然预测未来的最好方法就是发明(The best way to predict the future is to invent it. -- A. Kay),但是对于我等现在还没开始发明或者还没有能力发明的人来说,不妨还是看看2005年会软件业界会推出点什么软件,想象一下程序员的生活会不会在2…

android 百度地图3.0定位,Android 百度地圖 SDK v3.0.0 (二) 定位與結合方向傳感器...

新功能添加:第一,定位功能;第二,與方向傳感器結合,通過旋轉手機進行道路的方向確認。1、初次啟動定位/*** 定位的客戶端*/privateLocationClient mLocationClient;/*** 定位的監聽器*/publicMyLocationListener mMyLoc…

Remove Assignments to Parameters(移除对参数的赋值)

对入参进行赋值 int discount(int inputVal, int quantity, int yearToDate) {if (inputVal > 50) {inputVal - 2;} } 重构:用一个临时变量取代该参数 int discount(int inputVal, int quantity, int yearToDate) {int result inputVal;if (inputVal > 50…

房地产信息

今天随便在网上看了一下长沙的房产,觉得有几个小区,还比较适合。 枫林绿洲 http://house.csonline.com.cn/lp/displp.asp?id39 西子园 http://house.csonline.com.cn/lp/displp.asp?id42 转载于:https://www.cnblogs.com/jacklaw/archive/2005/02/17/…

Replace Method with Method Object(以函数对象取代函数)

在一个大型函数中,由于局部变量的使用导致无法采用Extract Method class Order...double price() {double primaryBasePrice;double secondaryBasePrice;double teriaryBasePrice;// long computation.....} } 重构:将这个函数放进一个单独对象中&…

强烈推荐 MicroSoft Office OneNote

微软推出了一款电子记事本软件,MicroSoft Office OneNote ,强烈推荐之! 平时工作中,一般大家都会记笔记,好记性不如烂笔头嘛,但是大家都还不愿意拿笔记录在纸上,特别是一些比较重要的资料&…

2018-2020年中国服务机器人行业深度研究报告

来源:机器人大讲堂概要:目前世界上至少有48个国家在发展机器人,其中25个国家已涉足服务机器人开发。一、报告编写背景和特点北京立德融创智能机器人技术研究院(简称“立德研究院”)通过对各机器人项目的实施以及自身发…

vscode android入门,vscode Android调试

.vscode 文件夹中添加launch.json文件launch.json内容:{// 使用 IntelliSense 了解相关属性。// 悬停以查看现有属性的描述。// 欲了解更多信息,请访问: https://go.microsoft.com/fwlink/?linkid830387"version": "0.2.0","configuratio…

.NET的动态语言

动态语言目前很多人开始关注了,尤其Python与Ruby是主要的关注目标,学习一门.Net下动态语言,应该是非常有帮助的,关于Python就不多说了,小白在他的Blog有一些对Ruby的介绍。目前已知的这两种动态语言的列表Python …

Substitute Algorithm(替换算法)

把某个算法替换成另一个更清晰的算法 public String foundPerson(String[] people) {for(int i0; i<people.length; i) {if (people[i].equals("Don")) {return "Don";}if (people[i].equals("John")) {return "John";}if (people…