离奇的梦境,能够防范大脑过拟合

来源:混沌巡洋舰  

1 )梦让我们对世界的理解不再那么简单化

关于为什么大脑进化出夜间做梦?神经科学界提出了各种假说,诸如通过梦来调节情绪,巩固记忆,或梦可以帮助我们选择性的遗忘,对我们应对现实世界的问题有帮助。但是这些假说都与梦的稀疏性(梦中的场景不常见)、幻觉和叙事性质相矛盾,而这种性质似乎缺乏任何特定的功能相对应。

训练人工智能时,一个常见的问题是,它对所训练的数据太熟悉了ーー它开始假设训练集是它可能遇到的任何东西的完美表示。即对特定数据集的过度拟合,导致泛化失败,从而影响新数据集的性能。

数据科学家通过在训练数据中引入一些随机性,来解决这个问题; 在一种称为“dropout”的正则化方法中,一些数据被随机忽略。想象一下,如果黑点突然出现在自动驾驶汽车的内部屏幕上: 一辆即使看到屏幕上随机出现的黑点,还能够专注于周围环境的总体细节,而不是特定驾驶体验的细节的汽车,可能会更好地理解驾驶的一般体验。

考虑到这一点,他的新理论认为,梦恰好使我们对世界的理解不再那么简单化,而是更加全面ーー因为我们的大脑,就像深层神经网络一样,对我们日常生活的“训练集”也太熟悉了。这会导致过拟合和泛化能力变差。通过每天晚上产生幻觉的感官刺激(梦境),大脑能够提升其感知和认知能力的泛化能力,并提高在相对应的分类任务上的性能。

通过自下而上的,在大脑对现实的表征中插入噪音,这意味着梦境中对现实的描述,和现实既有相近之处,又不完全相同,可以看成是一种有组织但不受控的幻觉。这可以被视作大脑在执行“模拟退火”算法,通过在优化过程中,增加随机性来提升泛化能力。

对于梦境为何是千奇百怪的(梦的稀疏性),该假设认为其来自于自下而上表征处理中,随机的的“丢失”一部分,导致梦境是不可重复的,,而梦境的幻觉性来自于更高层的随机性,这意味着梦境中那些部分被腐蚀或扭曲,是有特定目地的,就是要使其不同于正常经历的日常“训练集”,梦境的叙事性来自于梦的自上而下的发生,因为大脑以事件和故事的形式理解现实。也就是说,根据大脑过拟合假说,独特的梦境这一现象之所以存在,是为了最大限度地提高梦境的概括能力,并与日常记忆形成鲜明的对比,以提升泛化能力。

Hoel写到:为了抵消现实刺激的熟悉感,大脑在梦中创造了一个奇怪的世界,就像神经网络训练时的dropout。他写道: “正是梦与清醒时的经历发生分歧的奇异之处,赋予了梦的生物学功能,从这个意义上来说,梦的经历是你做梦的原因。”

梦境的出现,源于这三种神经网络中遇到过拟合技术(dropout,数据增强,以及生成模型)的组合: 一个稀疏的,不完全的,包含随机的一组感觉输入,这可能是利用大脑作为生成模型,利用层级结构经由类似GAN的反馈机制形成的。

2)大脑过拟合假说的证据和应用

Hoel说,已经有来自神经科学研究的证据来支持大脑过拟合假说。例如,已经有研究表明,最可靠的激发梦境的方法就是在你清醒的时候重复地执行一个新奇的任务。例如白天重复玩俄罗斯方块时,你会在晚上做的梦也和俄罗斯方块有关的梦,而这是大脑试图归纳白天的经验而做的尝试。他认为,当你在一个新奇的任务上过度训练时,过拟合的状态就会被触发,你的大脑试图通过创造梦来概括这个任务。

其它支持大脑过拟合假设的事实是:睡眠,尤其是在婴儿阶段,与提高概括和抽象能力相关。且梦境和创造力之间的关系也很密切,因为增加泛化能力,将直接导致对复杂问题的更深刻的见解,或在需要创造力的认知任务上更好的表现。事实上,大脑过拟合假说,通过并不是假设做梦是新旧记忆的整合、记忆的回放或记忆的储存,而是将梦看成一种正则化方法,更好地解释了创造力和做梦之间的联系。

这一理论还能解释,为何在需要泛化能力的复杂任务上,缺少睡眠会导致事故率增加。并能根据任务所需的泛化能力多少,预测究竟在哪些任务(睡眠不足这)更容易失误,从而建立更好的故障安全机制(例如避免切尔诺贝利由于操作人员长期没有睡眠导致的操作失误)。

但是他相信还需要研究,以确定这是否是我们做梦的真正原因。他说,精心设计的行为测试可以区分泛化和记忆,以及睡眠剥夺对两者的影响。

他感兴趣的另一个领域是“人造梦”,他在思考电影或小说等小说作品的目的时,提出了大脑过拟合假说。现在,他假设像小说或电视节目这样的外部刺激可能充当梦的“替代物”ーー而且它们甚至可能被设计成通过强调梦的本质(例如,通过虚拟现实技术)来帮助延缓睡眠剥夺对认知造成的负面影响。

例如,一个飞行了很长一段时间的飞行员开始过度适应他的任务,快速而强烈的接触一种完全不同的视觉刺激(就像通过虚拟现实,为其提供梦一样的自然场景)可以避免由于飞行员长期没有睡眠,对其认知功能造成的影响。而这一基于大脑过拟合假说给出的预测,是可以在实验室中进行验证的。

最后,值得认真对待文化为人类制造的白日梦-小说或电影,是否充当了人造梦的角色,至少其承担了一些类似的功能。进化心理学试图将人类行为的某些方面建立在进化论的基础之上,长期以来,对人们为什么喜欢阅读小说,一直无法给出一个好的解释,因为从表面上来看,小说没有任何效用。毕竟,它们是明显虚假的信息。

因此,人们认为,阅读小说要么是为了影响择偶,是对自己认知能力的一种证明方式,要么可以简单地归结为“令人满足的消费,但没有什么好处。这种观点的支持者甚至将艺术描述为一种“享乐”一些研究人员提出了阅读小说的好处,比如改进心智理论或者帮助抽象社会规范。但按照大脑过拟合假说,阅读小说如同做梦,也是通过提供不同于日常生活的体验,扩展大脑在人际关系这一能力上的泛化能力。

Hoel说,虽然你可以简单地关闭人工神经网络的学习功能,但你的大脑做不到这一点。大脑总是在学习新的东西ーー这就需要梦境来避免大脑的过拟合。“生活有时很无聊,”他说。“而梦会让你不会变得太对这个世界的模式太习以为常。”

参考:

https://www.labmanager.com/news/our-dreams-weirdness-might-be-why-we-have-them-25898

https://www.cell.com/patterns/fulltext/S2666-3899(21)00064-7?_returnURL=https%3A%2F%2Flinkinghub.elsevier.com%2Fretrieve%2Fpii%2FS2666389921000647%3Fshowall%3Dtrue

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484590.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

RGB空间中的彩色图像分割原理及其python实现

RGB空间中的彩色图像分割 ⭐️ 为尊重原创性!转载请注明出处:©️ Sylvan Ding’s Blog 概述 本文论述了基于欧式距离和曼哈顿距离的彩色图像分割算法,并用python实现了各个算法。之后将二者的优势结合,提出了改进后的曼哈顿…

路飞学城Python-Day171

Evernote Export 线性结构:python的列表操作列表是如何存储的:顺序存储的,是一块连续的内存,内存是一堆格子,列表是一串连续的编号32位机器上一个整数占4个字节数组和列表有2点不同,1.数组的元素类型要求是…

HarmonyOS 2面世!是没有退路还是时机成熟?中国操作系统崛起元年或已到来

来源:21Tech(News-21)作者:倪雨晴编辑:张星6月2日晚间,华为鸿蒙操作系统HarmonyOS迎来重要时刻,华为正式发布多款搭载HarmonyOS 2的新产品,包括HUAWEI Mate 40系列新版本、Mate X2新版本、HUAWEI WATCH 3系…

操作系统:线程同步

操作系统:线程同步 使用Linux无名信号量实现了读写者线程的互斥和同步。 实验环境 环境:Linux语言:CCMake:3.17.1GCC:7.5.0IDE:Clion 2020.3.1 实验目标 理解进程同步的两种制约关系:互斥与…

中国工程院2021年院士增选第二轮候选人名单公布

来源:先进制造业中国工程院2021年院士增选进入第二轮评审候选人名单(按候选人姓名拼音排序)未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城…

vsftpd部署流程和常见问题详解

vsftpd部署流程和常见问题详解 ⭐️ 网上关于在云服务器里配置vsftpd的文章鱼龙混杂,没有一篇是可以彻底解决问题的,有些问题虽简单,但也让初学者感到困惑。本文详细说明vsftpd的部署流程和一些常见问题的解决方法,详述用户创建过…

谷歌发布史上最强人类大脑「地图」,1.3亿个突触,在线可视3D神经元「森林」!...

来源:Google AI Blog编辑:yaxin, LQ (新智元)突触,是神经网络的「桥梁」。我们知道,人类大脑有860亿个神经元,因为有了突触,才可以把神经元上的电信号传递到下一个神经元。长久以来&…

智慧食堂项目策划书(商业计划书/立项计划)

金鹰物联智慧食堂项目策划书(商业计划书/立项计划) ©️ 金鹰物联项目组,转载请注明出处! ⭐️ 技术部分请参考博文:基于YOLOv5的中式快餐店菜品识别系统 文章目录金鹰物联智慧食堂项目策划书(商业计划…

pipelineDB学习笔记-2. Stream (流)

一、流的定义: 所谓的“流”(stream)在pipelineDB中是指那些被允许的数据库客服端推送到 Continuous View(连续视图) 的时序化数据的一种“抽象”。流中的每一个raw(数据列)或者event(事件),看起来是和普通…

银行家算法之Python实现[操作系统实验]

银行家算法 银行家算法是著名的死锁避免算法,其思想是:把操作系统视为银行家,操作系统管理的资源相当于银行家管理的资金,进程向操作系统请求分配资源相当于用户向银行家贷款。操作系统按照银行家制定的规则为进程分配资源。进程…

城市智能化发展中,AI公司应该做什么?

来源:虎嗅APP题图来源:视觉中国在上海长宁区的部分区域,你会发现共享单车总是能够整整齐齐的排列,并且在每一个你需要的街道路边,都能找到空闲的单车,既不会车辆爆满,也不会无车可骑。这些城市细微之处的体…

getchar(),putchar()用法

1.getchar函数可以接收用户输入的多个字符,只用等用户按下回车键后,getchar()函数才会从键盘缓冲区依次读出字符; 2.getchar()和putchar()结合使用,可以将读取的字符输出到屏幕; 3.函数原型: int getchar…

[操作系统]页面置换算法实验及C++实现(OPT、FIFO、LRU)

虚拟内存页面置换算法实验(OPT、FIFO、LRU) 进程运行时,若其访问的页面不再内存中而需将其调入,但内存已无空闲空间时,就需要从内存中调出一页程序或数据,送入磁盘的对换区。选择调出页面的算法就称为页面…

智谱AI多项成果惊艳亮相2021北京智源大会

来源:学术头条2021 年 6 月 1 日,由北京智源人工智能研究院(以下简称 “智源”)主办的 2021 北京智源大会在北京中关村国家自主创新示范区会议中心成功开幕。包括 Yoshua Bengio、David Patterson 等图灵奖获得者在内的两百余位国…

python-字典方法

1.字典的格式化字符串在转换说明符%后面加上键(圆括号括起来);phonebook{"A":45,"B":"56"} s"As phone number is %(A)s." print(s%phonebook) 运行结果: #字典方法: #clear():清楚字典中的所有的项…

获得诺贝尔奖的底层小职员 | 从来没有一个高手,是在一夜之间强大起来的

来源:Pinterest优选2019年初NHK的一个访谈纪录片,看哭了很多网友。“感动,这才是真正的大神啊!”纪录片的主人公,是2002年的诺贝尔化学奖得主——田中耕一。十九年前,他的获奖几乎是“都市传说”般的爆炸新…

光辉岁月:人工智能的那些人和事(1)

来源:图灵人工智能源头茫昧虽难觅,活水奔流喜不休。——法国数学家亨利庞加莱(Henri Poincare)目前,人工智能(Artificial Intelligence,AI)正在迅速崛起。现已面世的AI应用&#xff…

MySQL主从架构及读写分离实战

​​​​​​ 目录 一、实验目的与环境 二、基础环境介绍 三、搭建主从集群 1、理论基础 2、同步的原理 3、搭建主从集群 3.1 配置master主服务器 3.2 配置slave从服务 3.3 主从集群测试 3.4 集群搭建扩展: 3.5、GTID同步集群 4、集群扩容 5、半同步复…

编译原理课程实践——实现一个初等函数运算语言的解释器或编译器

编译原理课程实践——实现具有初等函数运算语言的解释器或编译器 作者:Sylvan Ding |转载请注明文章出处! 摘要:本文主要内容是设计词法分析器、语法分析器(LL(1)、SLR(1))和语义分析器(基于SL…

数据结构开发(3):线性表的顺序存储结构

0.目录 1.线性表的本质和操作 2.线性表的顺序存储结构 3.顺序存储结构的抽象实现和具体实现 3.1 SeqList3.2 StaticList 和 DynamicList4.顺序存储线性表的分析 4.1 效率分析4.2 功能分析5.小结 1.线性表的本质和操作 线性表 ( List ) 的表现形式: 零个或多个数据元…