Hinton最新演讲透露下一代神经网络模型的构想 | SIGIR 2020

来源:北京智源人工智能研究院

7月27日上午,第43届国际信息检索大会(SIGIR 2020)以线上会议的形式开幕。图灵奖获得者Geoffrey Hinton教授作为首位主题演讲者进行了题为“神经网络的新时代(The Next Generation of Neural Networks)”的主题报告。

智源社区为这次国际学术盛会提供了线上会议系统,并进行全程直播支持。

 

报告中,Hinton教授指出:人类大脑有10^14个神经元连接,而生命的长度只有10^9秒,因此人类是无法完全依赖有监督学习的方法完成所有神经元训练,而需要更多来自于无监督学习的帮助,受此启发,构建智能的机器模型也应综合考虑监督与无监督方法进行协同训练。

 

他首先回顾了无监督神经网络的发展历史,结合从LLE、LRE到t-SNE等表达学习模型的进化历程,指出当前无监督学习方法所面临问题的根源在于过度关注数据的重构损失(Reconstructive Loss),而忽略了对数据间关联关系的捕捉。基于此,他提出了下一代神经网络模型的构想,提出利用对比损失函数(Contrastive Loss)建模样本间的局部关系、增强数据间表达的一致性的解决思路。

 

最后,他还展示了上述构想的一种具体实现方案SimCLR,应用此方案能够显著提升下游图像分类任务的效果(如下图所示)。

 

作为 CCF 推荐的 A 类国际学术会议,SIGIR 历来都是互联网业内关注的焦点,会议覆盖了信息检索领域相关的各类前沿成果,包括基础理论、算法应用以及评估分析。接下来,本次会议还将安排包括中科院院士徐宗本教授、ACM Fellow Ellen M. Voorhees博士、Salton Award获得者Norbert Fuhr教授、ACM Fellow Elizabeth F. Churchill博士、澳大利亚科学院院士陶大程教授在内的五位专家学者进行相关主题报告。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/487317.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

从社会数据到社会智慧的社会计算:新技术、新哲学、新文科

来源:中国指挥与控制学会从社会数据到社会智慧的社会计算:新技术、新哲学、新文科——王飞跃研究员在中国社会科学院大学举办的“计算与人文社科融合创新高端论坛”暨“计算社会科学研究中心”成立大会上的主题报告观点人物介绍王飞跃研究员,…

2017-2018-1 20155338 《信息安全系统设计基础》第七周学习总结

2017-2018-1 20155338 《信息安全系统设计基础》第七周学习总结 教材学习内容总结 Y86-64指令集体系结构 程序员可见状态 概念:Y86程序中的每条指令会读取或修改处理器状态的某些部分,这些称之为处理器的可见状态。 Y86处理器状态可以访问和修改程序寄存…

android动态加home,Android 解决监听home键的几种方法

Android 解决监听home键的几种方法前言:以下两种方法可以完美解决监听back键,home键,多任务键(最近任务键)。一、使用注册广播监听home键、多任务键演示图创建一个广播代码如下:class InnerRecevier extends BroadcastReceiver {f…

英特尔大地震!解雇首席工程官,7纳米延期,或面临集体诉讼……

物联网智库 整理发布转载请注明来源和出处2020年的世界很不太平。纵观全球,疫情、洪水、蝗灾……尽管各种天灾人祸频繁上演,美股却一路向好,苹果、特斯拉等股价飙升。但有人欢喜有人愁,英特尔迎来自己的黑色星期五——上周五股价暴…

开源项目解读 —— Self-Operating Computer Framework # 长期主义 # 价值

价值:生成主函数业务逻辑函数思维导图,帮助理解,PR到开源项目,希望帮助大家理解IPA工作原理,国内没有好的开源项目,我就来翻译分析解读,给大家抛砖引玉。思维导图用文心一言配合其思维导图插件实…

对表格内容进行筛选!

<!DOCTYPE html><head> <meta http-equiv"Content-Type" content"text/html; charsetutf-8" /> <title>Test js</title> </head> <script type"text/javascript"> function onSearch(obj){//js函数开…

两个几何世界

文章来源&#xff1a;原理━━━━多年前&#xff0c;物理学家在试图弄清楚弦理论的一些细节的过程中&#xff0c;观察到了一种奇异的对应关系&#xff1a;从一种几何世界出现的数字与来自截然不同的几何世界中的极为不同的数字完全匹配。对于物理学家而言&#xff0c;这种对应…

看了 72 位图灵奖得主成就,才发现我对计算机一无所知

来源&#xff1a;人工智能AI技术今天是计算机科学之父、人工智能之父 艾伦麦席森图灵 诞辰 108 周年。作为“图灵意志”的传承者&#xff0c;依照惯例&#xff0c;在今日纪念这位伟人。从“图灵机”到“图灵测试”&#xff0c;从破译德军的 Enigma 到自杀之谜&#xff0c;图灵一…

prop attr 到底哪里不一样?

好吧 首先承认错误 说好的每天进行一次只是总结 但是我没坚持住 准确的来说 我并没有每天会学到了东西 但是 我一直在持续努力着 以后应该不会每天都写 但是自己觉得有用的 或者想加强记忆的 可能会写出来 我前段时间 看书的时候 注意到prop() 但是一直没用到过 今天就探…

【深度学习】解析深度神经网络背后的数学原理

来源&#xff1a;产业智能官解析深度网络背后的数学如今&#xff0c;已有许多像 Keras, TensorFlow, PyTorch 这样高水平的专门的库和框架&#xff0c;我们就不用总担心矩阵的权重太多&#xff0c;或是对使用的激活函数求导时存储计算的规模太大这些问题了。基于这些框架&#…

unity android 分包,Unity以分包(obb)形式集成到安卓原生 我慢慢填坑

Unity以分包(obb)形式集成到安卓原生 我慢慢填坑Unity以分包(obb)形式集成到安卓原生 我慢慢填坑工作中有需要将unity项目集成到安卓原生中&#xff0c;随着工作推进需要分包去发布到google &#xff0c;那么这时候就需要在unity出包时进行分包(android project obb)。使用方法…

73岁Hinton老爷子构思下一代神经网络:属于无监督对比学习

机器之心报道编辑&#xff1a;魔王、杜伟在近期举行的第 43 届国际信息检索年会 (ACM SIGIR2020) 上&#xff0c;Geoffrey Hinton 做了主题为《The Next Generation of Neural Networks》的报告。Geoffrey Hinton 是谷歌副总裁、工程研究员&#xff0c;也是 Vector Institute 的…

面向对象引子

描述两个角色: 1 def hum(name,age,job):2 """这是代表一个人"""3 data {4 name:name,5 age:age,6 job:job7 }8 9 return data 10 11 def dog(name,type): 12 """这是代表一条旺财…

下一个十年的C位:物联网产业全景解析

来源&#xff1a;北京物联网智能技术应用协会导语&#xff1a;庄子曰&#xff1a;“天地与我并生&#xff0c;而万物与我为一”庄子将天地万物与人平等对待&#xff0c;打破了“以人类为中心”的桎梏。如果说互联网是以“人的需求”为中心构建的&#xff0c;那么物联网&#xf…

[数据挖掘]朴素贝叶斯分类

写在前面的话&#xff1a; 我现在大四&#xff0c;毕业设计是做一个基于大数据的用户画像研究分析。所以开始学习数据挖掘的相关技术。这是我学习的一个新技术领域&#xff0c;学习难度比我以往学过的所有技术都难。虽然现在在一家公司实习&#xff0c;但是工作还是挺忙的&…

网页html语言怎么看,怎样查看网页的css代码?

怎样查看网页的css代码&#xff1f;下面本篇文章给大家介绍一下。有一定的参考价值&#xff0c;有需要的朋友可以参考一下&#xff0c;希望对大家有所帮助。怎样查看网页的css代码&#xff1f;要查看一个网站使用了什么css代码&#xff0c;可以通过在网站空白处右键&#xff0c…

【精彩文章】数学家论数学——数学的本质

来源&#xff1a;数学算法俱乐部罗巴切夫斯基任何一门数学分支&#xff0c;不管它如何抽象&#xff0c;总有一天会在现实世界中找到应用.罗巴切夫斯基(Н.И.лобачевский&#xff0c;1792&#xff5e;1856&#xff0c;俄国数学家)是非欧几何的创始人之一&#xff0c…

HTML将canvas画布鼠标事件,HTML5 Canvas鼠标与键盘事件demo示例

演示html5 canvas鼠标事件&#xff0c;获取canvas对象上的鼠标坐标&#xff0c;演示键盘事件通过键盘控制canvas上对象移动。canvas对象支持所有的javascript的鼠标事件&#xff0c;包括鼠标点击(mouseclick), 鼠标按下(mouse down), 鼠标抬起(mouse up),鼠标移动( mouse move)…

js——正则整理

1、示例 匹配网址url function IsURL(str_url){var strRegex "^((https|http|ftp|rtsp|mms)?://)" "?(([0-9a-z_!~*().&$%-]: )?[0-9a-z_!~*().&$%-])?" //ftp的user "(([0-9]{1,3}\.){3}[0-9]{1,3}" // IP形式的URL- 199.194.52.…

天价!一款芯片从设计到流片需要45亿!3纳米芯片研发成本曝光

来源&#xff1a;EETOP综合整理自IBS、科技新报英特尔宣布7纳米制程要延后半年问世&#xff0c;使晶圆代工龙头台积电有机会受惠英特尔扩大外包生产&#xff0c;竞争对手AMD 也因英特尔7纳米延后&#xff0c;产品持续维持竞争优势&#xff0c;两家公司股价都大涨。只是英特尔7纳…