大脑的学习方式如何,机器学习与生物学习的联系将提供「答案」

b570701fa214e3d20952c5134d7643eb.png

来源:ScienceAI

编辑:凯霞

准确指出神经活动如何随着学习而变化,不是黑白分明的。有人认为大脑中的学习或生物学习可以从优化的角度来考虑,这就是在计算机或机器人等人工网络中学习的方式。

由卡内基梅隆大学和匹兹堡大学的研究人员共同撰写的一篇新前瞻性评述(Perspective)文章,将机器学习与生物学习联系起来,表明这两种方法不可互换,但可以用它们来为大脑如何工作提供有价值的见解。

该文章以「How learning unfolds in the brain: toward an optimization view」为题,发表在《Neuron》期刊上。

926aade1855a431c1361d7f7a2f34046.png

大脑的变化如何导致学习?要回答这个问题,请考虑人工神经网络 (ANN),通过优化给定的目标或成本函数来进行学习。这种优化框架可能会提供有关大脑如何学习的新见解,因为神经活动的许多特殊特征可以通过经过训练,以执行相同任务的 ANN 来概括。

然而,在整个学习过程中神经群体活动如何变化的关键特征无法用优化来解释,也不是 ANN 的典型特征。在这里,详细介绍了其中的三个特征:

(1)整个学习过程中神经可变性的不灵活性;

(2)即使在简单任务中也使用多个学习过程;

(3)存在与任务无关的大型活动变化。

科学家认为,理解这些特征在大脑中的作用将是使用优化框架描述生物学习的关键。

d05011cf507928656b6b5f7c511cf2cb.png

优化框架下的人工和生物网络学习。

神经可变性塑造学习,但通常不灵活

大脑可以控制行为和神经变异吗?

众所周知,行为是多变的。但是,行为可变性实际上可能对学习至关重要,而不是成为嘈杂神经系统的意外后果,使我们能够充分探索奖励景观,并适应不断变化的环境。可以通过强化学习 (RL) 的视角来了解学习过程中行为可变性的潜在好处。各种研究表明:大脑调节行为可变性以促进学习。

大脑可以在多大程度上控制学习过程中的神经变异?当然,如果行为层面存在可变性,那么它也将存在于驱动该行为的大脑区域中。但令人惊讶的是,神经群体活动中存在的大量可变性似乎在学习过程中并未发生改变。多条证据表明,即使在限制性能的情况下,在数天或数周的实践过程中,群体协变的结构仍然有些不灵活。正如将在下面解释的那样,这种不灵活是学习环境中的一个重要考虑因素。

对神经变异性的限制限制了性能

脑机接口(BCI)学习研究提供了一组证据,表明总体协变结构可能是不灵活的。

c4cba098cff1b2b2fa5c1f51022c46b7.png

猴子通过调节初级运动皮层中记录的 90 个神经元的尖峰活动,将计算机光标引导到八个视觉目标之一。神经活动与光标速度之间的关系由 BCI 映射定义。当引入新的 BCI 映射时,受试者必须学会修改他们的神经活动以提高性能(即,将光标引导到目标)。

感知学习的研究提供了另一条证据,即总体协变结构可能有些不灵活,即使它干扰了任务绩效。这与种群协变的存在有关,该协变干扰了从神经活动中解码信息的能力,即所谓的信息限制相关性。虽然信息限制相关性的大小可以通过学习来降低,但这些相关性即使在过度训练的任务中仍然存在。

神经变异的结构会影响学习的路径

即使神经协变的结构在很大程度上是固定的,它仍然可能是学习过程中神经群体活动如何随时间演变的关键组成部分。

为了解释为什么会这样,请考虑大脑必须使用来自任务的反馈来估计方向或梯度,在该方向或梯度中它应该修改其活动以提高未来的表现。在 ANN 中,可以使用微积分中的链式法则,在称为反向传播的算法中计算此梯度。然而,对于大脑而言,反向传播在生物学上可能不可信的原因有很多。研究表明,了解学习过程如何解释神经协变能力的结构,可能有助于了解观察到的学习路径。

646f0fcb12c885b57b605c4843b2c11b.png

神经群体协变影响学习路径。

生物网络和人工网络之间网络变异性的差异

大脑中的神经变异性通常与人工神经网络中的神经变异性大不相同。首先,如前所述,学习过程不一定会减弱或重构总体协变性,即使这样做会提高任务绩效。其次,考虑在具有相同预期运动的试验中存在大量人口协变,如 BCI 学习任务中所示。如果人工神经网络要作为大脑在学习过程中如何变化的模型,我们可能需要考虑能够捕捉上述人口协变特性的人工网络类别,例如基于随机速率的人工神经网络。

学习过程中大脑神经可变性的不灵活性,与可变性在强化学习 (RL) 方法中的典型作用形成对比。RL 代理通过有效探索其环境来发现最佳行为策略,其中探索表现为行为可变性。然而,学习期间人工代理网络活动的可变性可能与在大脑中观察到的可变性不同。

了解学习如何与大量神经可变性同时进行,可能会为 RL 智能体的开发提供信息。

多个神经学习过程始终在发挥作用

大脑中的学习涉及多个学习过程,即使是在简单的任务中

理解大脑学习的一个主要障碍是确定所观察到的神经和行为变化背后的学习目标。相比之下,在人工网络中,这不是问题,因为建模者决定如何使用任务的反馈来驱动学习。对于 ANN,建模者可以选择 ANN 在训练过程中尝试优化的目标函数。

确定潜在学习目标的问题很复杂,因为即使在简单的任务中,学习过程中的行为变化似乎也反映了多个学习过程。科学家将学习过程定义为具有自己的目标函数、学习规则/神经电路实例化的优化过程。由于行为是多方面的,因此可以优化行为的多个方面以实现给定的任务目标。各种研究表明,即使是将手伸向物体的简单任务,行为变化似乎也受到各种不同学习过程的驱动。

解开神经群体活动中多重学习过程的存在

正如上面所讨论的,即使是一个简单的任务,比如伸手去拿一个物体,也可能涉及多个学习过程。尽管从大脑的角度来看这可能是有益的,但它对寻求识别这些学习过程的神经基础的神经科学家提出了挑战。多种学习过程可能起源于不同的大脑区域,但多个学习过程的特征也可以在同一组神经元中共存。当这种情况发生时,作为神经科学家,如何将它们分开?

区分大脑中不同学习过程影响的主要方法之一是确定行为或神经变化的不同时间尺度。另一种是使用 BCI 范式的长期学习研究发现,经过数周的练习,受试者通过培养产生新的种群活动模式的能力。

da3dadfb56626cab38016df6e330d2f7.png

BCI 学习过程中的快慢学习过程。

识别大脑关于学习的先验假设的重要性

生物体和人工体学习之间的主要区别之一是,对于生物而言,环境和奖励突发事件不断变化。为了处理在这样一个动态环境中学习的复杂性,大脑已经准备好了各种与生态相关的归纳偏差,而不是一堆优化工具的空白。

因此,理解大脑中的学习可能不仅涉及对任务所涉及的众多学习过程的描述,还涉及大脑归纳偏差的表征。总体而言,研究表明,在解释学习期间人口活动的变化时,大脑的归纳偏差可能与任务目标本身一样重要。

并非所有学习过程中神经活动的变化都是由任务绩效驱动的

人口活动的非特定任务变化可以与学习过程相互作用

在学习过程中,神经活动会发生变化以改善行为。理解这一过程的一种常见方法是:表征神经活动在学习经历期间或之后,在哪些方面发生变化或不发生变化。这种方法可以提供关于大脑不同部分如何有助于提高任务绩效的线索。

但并非学习过程中神经活动的所有变化都可以直接根据任务目标来解释。越来越多的研究观察到,学习过程中神经活动的变化并不总是由性能考虑驱动。我们将这些似乎与手头任务的细节无关的变化称为与任务无关的变化。在操作上,我们认为人口活动的变化是任务非特定的,如果它们在有或没有任何学习压力的情况下发生,或者如果它们在使性能变差的情况下发生。

存在任务非特异性变化时大脑中的逆向工程学习

我们怀疑,在尝试对大脑学习过程进行逆向工程时,考虑到任务非特异性的神经活动变化将被证明是一个关键因素。特别是,对于确定大脑学习目标的挑战,可能需要考虑人口活动中与任务无关的变化。

dcb4228822e5794a3e59d0054786d734.png

学习过程中神经群体活动的特定任务和非任务特定变化。

总的来说,对学习过程中神经活动如何变化的完整描述,可能需要考虑大脑在学习的同时管理的各种任务非特定过程的影响。鉴于许多任务非特定过程通常不受实验控制,这可能是一个挑战,导致这些过程对种群活动具有可变和潜在的影响。解决此问题的一种潜在方法涉及利用自然行为。

任务非特定活动的潜在好处

学习期间大脑中任务非特定的变化可以与 ANN 中的网络活动形成对比,其中任务非特定的变化通常很小或不存在。

为什么大脑会表现出如此大的非特定任务变化?回答这个问题可能会帮助我们建立更好的生物学习模型,同时也会激发人工学习的新方法。在执行任何给定任务时,大脑还必须管理一系列与任务执行没有直接关系的过程,例如唤醒、注意力和记忆。这些过程可能有自己的目标,虽然与它们所支持的任何过程相关,但与执行任务本身无关,因此会推动种群活动中与任务无关的变化。

大脑中任务非特定变化的另一个潜在好处是,它们可以通过使学习者对网络活动的大方差变化不敏感,或提供一种逃避局部最优或鞍点的方法,来鼓励稳健性。

总体而言,了解任务非特定活动在大脑中的作用,可能会启发开发灵活、强大的人工代理的方法。

挑战和未来方向

了解神经人群活动的突触可塑性

一般认为,大脑中的学习是由神经元之间突触强度的变化所控制的。类似地,ANN 经过培训,通过对人工神经元之间的突触强度进行修改来进行新任务。在这里,科学家扩展了这个观点,以考虑在神经人群活动的变化方面进行学习。

在可塑性与神经人口活动方面,研究学习的不同观点提高了未来研究的几个潜在问题。

  • 首先,如何通过可塑性学习给定的任务是什么?

  • 其次,只使用神经人群活动的记录可以理解哪些学习的方面?

  • 第三,能否在学习过程中利用对神经种群活动的研究来指导寻找新的可塑性规则?

理解不完整或次优的学习

可能受益于数学优化和机器学习思想,对于生物学习,一个令人费解的方面是:为什么生物学习通常是不完整的问题。

如果大脑中的学习是通过优化过程发生的,我们如何理解这些失败模式?在前面提到了两种可能性:大脑的归纳偏差和任务需求之间的不匹配,以及神经活动中存在任务非特异性变化。其他可能的解释可能来自机器学习,其中已经广泛研究了不完整或失败学习的原因。

使用人工神经网络作为理解大脑的人工模型生物

使用人工神经网络作为人工模型生物(artificial model organisms),可能是理解大脑如何通过优化学习的关键工具。在这里,概述了人们可能采取的不同方法。

  • 首先,人工神经网络可以作为开发新方法的测试平台,这些方法从神经活动的记录中推断出优化框架的组成部分。

  • 其次,人工神经网络可以阐明优化框架的组件如何相互作用。

  • 最后,人工神经网络可以帮助我们建立学习如何在动物一生中进行的模型。

结论

为了学习,大脑必须发现导致行为改善的神经活动的变化。我们如何开始理解大脑中驱动这些变化的复杂过程?学习优化框架表明,学习过程中神经活动的变化可以理解为目标函数、学习规则和网络架构的自然结果。正如我们在此提出的,将优化框架应用于生物网络需要我们关注大脑中的神经活动与典型人工网络中的网络活动不同的关键方式。特别是,我们提出了关于从神经群体活动研究中学习的三个关键观察结果,认为需要通过大脑学习模型来解释这些观察结果:(1)整个学习过程中神经变异性的不灵活性,(2)使用即使在简单的任务中也有多个学习过程,以及(3)存在与任务无关的大型活动变化。在考虑神经群体活动时,这些挑战很明显,但从突触权重变化或单单元调谐特性的有利位置很难检测到。

优化框架是理解大脑学习的一个有希望的起点。但正如我们所见,即使在相对简单的任务中,学习过程中神经群体活动的变化也并不总是很容易解释为优化过程。在理解更复杂、更自然的任务是如何学习的背景下,这种困难可能更加突出。

展望未来,将人口活动特征纳入大脑学习的新计算模型和新的实验设计,可能对大脑学习过程进行逆向工程的下一步有用。

文链接:

https://doi.org/10.1016/j.neuron.2021.09.005

参考内容:

https://medicalxpress.com/news/2021-10-brain-machines.html

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

a0974dcd84c157da13bc3676eef7b4d0.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/483175.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据库基础知识——DML语言

文章目录1.插入2.修改3.删除1.插入 语法: insert into 表名(字段名,...) values(值1,...);特点: 1、字段类型和值类型一致或兼容,而且一一对应 2、可以为空的字段,可以不用插入值,或用null填…

Go语言交叉编译工具gox

基本介绍 交叉编译是为了在不同平台编译出其他平台的程序,比如在Linux编译出Windows程序,在Windows能编译出Linux程序,32位系统下编译出64位程序,今天介绍的gox就是其中一款交叉编译工具。 配置环境 首先配置好Go语言的环境变量&a…

登顶Nature | DeepMind用AI首次实现数学领域重大进展,助力科学家证实两大猜想

来源:AI科技评论作者:杏花、莓酊编辑:琰琰数论是人类知识最古老的一个分支,然而它最深奥的秘密与其最平凡的真理是密切相连的。数学原理极易从事实中归纳出来,但证明却隐藏的极深。可以说数学,是一切科学的…

C++学习——类的多态

文章目录1.重载多态1.1 函数重载1.2 运算符重载2.强制多态3.类型参数化多态4.包含多态类的多态 多态是指同样的消息被不同类型的对象接收时导致不同的行为。 所谓消息是指对类成员函数的调用,不同的行为是指不同的实现,也就是调用了不同的函数。 在C中&a…

细胞如何获得秩序?除了形成细胞器,还可以发生相分离

来源:集智俱乐部作者:Viviane Callier译者:王百臻 审校:梁金 编辑:邓一雪 导语小小的细胞实际上是一个无比复杂的宇宙。DNA在细胞核中运筹帷幄,指导各种细胞器密切合作,产生功能各异的蛋白质。…

JS设置cookie、读取cookie、删除cookie

cookie是网站设计者放置在客户端的小文本文件,一般后台语言使用的比较多,可以实现用户个性化的一些需求。 javascript使用 document.cookie 来操作cookie同一个域名下的页面,共有一个cookie不同的浏览器分别管理自己的cookie,互不影响1.设置cookie // 设…

数据库基础知识——DDL语言

1.库的管理: 一、创建库 create database 库名#创建一个books库 create database books二、删除库 drop database 库名 三、修改库 rename database 旧库名 to 新库名2.表的管理: 2.1 创建表 CREATE TABLE IF NOT EXISTS stuinfo(stuId INT,stuName V…

从人类交互通信发展简史看元宇宙发展趋势及商业价值

来源:科协频道从通信角度来看,人类社会通信方式的发展历程和趋势,它一共经历了以下几个阶段:通信方式的发展历程和趋势第一阶段几千年以前的人类通过口口相传的方式,实现人与人之间的通信,这种通信方式的深…

字符设备驱动

1 引言 APP:open("/dev/xxx"),read,write    ——  设备字符驱动文件包含属性、主设备号和次设备号C LibrarySystem call interface内核:根据文件类型为字符设备,查找字符设备。根据主设备号查找file_…

yii2的Console定时任务创建

https://www.cnblogs.com/dwj97/p/6632848.html 设置定时任务 linux下,运行crontab -e 30 21 * * * /usr/local/php/bin/php /your_project_path/yii test/test //应用程序 上面的例子表示每晚的21:30执行上面的定时程序 下面是定时任务设置的一些基本介绍 基本格…

数据库基础知识——TCL语言

1.TCL含义 TCL,事务控制语言。通过一组逻辑操作单元(一组DML——sql语句),将数据从一种状态切换到另外一种状态,即要么全部成功,要么全部失败。2.特点 (ACID) 原子性(atomicity)&a…

谷歌时间晶体登上Nature,诺奖得主重大猜想成为现实

来源:机器之心没有能量的供给,没有能量的消耗,它的循环运动会永远持续下去。时间晶体就像是一个「永动机」在不同状态之间永久循环往复而不消耗任何能量。来自斯坦福大学、谷歌、马克思 普朗克复杂系统物理研究所和牛津大学的研究团队声称已…

【GoWeb开发实战】Beego的路由控制

Beego的路由控制 二、路由控制 web框架中,路由是重要的一环,对于beego的路由配置如何? 2.1 默认路由 让我们从入口文件main.go先分析起来吧: package mainimport (_ "beegoDemo/routers""github.com/astaxie/beego…

数据库基础知识——视图

视图 含义:理解成一张虚拟的表 视图和表的区别: 使用方式占用物理空间视图完全相同 不占用,仅仅保存的是sql逻辑表完全相同 占用 视图的好处: 1、sql语句提高重用性,效率高 2、和表实现了分离,提高了安…

挑战唯物论?诺奖得主彭罗斯:意识产生可能是大脑内的「量子叠加」的结果...

来源:新智元量子物理学取得了巨大成功,但其解释仍然不确定。大脑由神经元组成,而神经元又由分子组成,很可能会受到量子效应的影响。量子力学和神经科学能否融合成「量子意识」理论?「我们是谁」?恐怕没有什…

完全背包

题目描述 即0-1背包,把每个物品只能拿一次改为能拿无数次。 思路 //这个位置的状态是不拿,第一次拿,和第n>1次拿 dp[i][j]max(max(dp[i-1][j],dp[i-1][j-v[i]]w[i]),dp[i][j-v[i]]); 拿0次:dp[i-1][j]; 拿1次:dp[i-…

下一个是什么?2022年值得关注的22项新兴技术

来源:参考消息网英国《经济学人》网站11月8日发表题为《下一个是什么?2022年值得关注的22项新兴技术》的文章。在文章列举的22项新技术中,既有今年大热的“元宇宙”、太空旅游、脑机接口,也有备受期待的量子计算、艾滋病病毒疫苗……

数据库基础知识——变量

1.系统变量 1.1 全局变量 作用域:针对于所有会话(连接)有效,但不能跨重启 查看所有全局变量 SHOW GLOBAL VARIABLES;查看满足条件的部分系统变量 SHOW GLOBAL VARIABLES LIKE %char%;查看指定的系统变量的值 SELECT global.aut…

防止ARP欺骗

前言: 曾经因为宿舍里面的同学经常熬夜打游戏,好言相劝不管用,无奈之下使用arp欺骗他们的主机,使之晚上11点之后游戏延迟,掉线,最后,一到11点同学们就都上床睡觉了。 防止arp欺骗的三种思路&…

孙文智/胡霁/汪小京团队揭示延迟满足的神经基础

来源:北京脑编辑:绿萝导语:20 世纪 60-70 年代,斯坦福大学心理学家瓦尔特•米舍尔团队进行了一系列有关自制力的心理学实验,其中包括著名的棉花糖实验,得出结论:「能为偏爱的奖励坚持忍耐更长时…