来源：CreateAMind

介绍一篇论文：

预测性大脑的短期记忆能力肯定是有限的

短期保持信息的能力可能是人类认知的一个标志, 因为它是许多领域所需要的,如感知、行动计划和语言。没有大脑的这一核心功能,人类无法思考、推理或计算,甚至可能无法感知。尽管短期记忆(STM)的概念通常仅指信息的存储,但工作记忆被认为涉及额外的执行过程,如信息的整合和处理, 并被认为支持复杂的认知活动,如语言处理、推理和问题解决(Baddeley,2003)。

从经验上来说,STM 是使用延迟匹配样本和变化检测任务等范式来检验的,在这些任务中,要求参与者对给定的感觉输入进行编码,以便最终在随后的时间点识别或回忆它。这些和其他相关的任务都揭示了一个有力但令人困惑的发现,即人类在短时记忆中所能保存的信息量(或人工操作的工作记忆) 受到严重限制。平均而言,据估计人类在短时记忆中只能保存四个项目(Cowan,2001)。

传统上,重点是解决这种限制背后的机制。认知过程,如信息的衰减或干扰

迄今为止,只有少数作者提出了对短时记忆限制的功能性解释,例如,认为它提高了记忆搜索的效率(例如,Dirlam,1972;MacGregor,1987), 有益于语言习得(如 Elman,1993),有助于检测环境中的共变(Kareev,2000),或作为动作控制的装置(Heuer 等人,2020)或作为眼动系统的核心组件

预测大脑

在过去十年中,人们对预测过程的兴趣急剧增长(最近的综述见 Clark,2013)。从这个角度来看, 大脑是主动的:它不仅仅依赖于自下而上的信息, 还会在感知推理过程中添加预期。一些实证研究为大脑预测其感觉输入提供了证据(例如,Alink 等人,2010)。大规模框架,如自由能原理,表明最小化惊喜可以提高大脑功能,如感知、记忆和行动(Friston,2010)。预测性大脑的概念为人类大脑的核心功能带来了新的功能解释:例如,从这个角度来看,注意力并不主要被视为一个选择过程,因为该系统否则会淹没在感官溢出中,而是被视为一种 为 预 测 和 预 测 错 误 分 配 权 重 的 机 制(Friston,2010)。同样,长期记忆(LTM),传统上被认为是一种存储过去信息的装置,已经被重新考虑为一个为未来事件的模拟提供先决条件的系统(Schacter & Addis,2007)。未来第一假说甚至假设“我们重温过去的能力可能只是我们构想未来能力 的 一 个 设 计 特 征 ”

预测和短期记忆

STM 是如何与预测过程联系起来的?预测框架的关键思想是,将传入的感觉输入与先前的信息或预期进行比较,只有偏差或预测误差在感觉层级中被前馈(参见 Clark,2013)。尽管许多研究调查了预测和处理预测误差的神经相关性,并用预测模型拟合了行为数据,但是很少讨论相关的心理或认知过程,例如感觉信息如何与先前的期望进行比较,在与感觉输入进行比较的过程中,如何从 LTM 中提取先前信息并使其可访问,以及它们的表示形式是什么。

大脑可以使用一种机制来突出和暂时保持来自 LTM 的先验知识中与感知决策或手头任务相关的部分。在大多数认知模型中,短时记忆被认为是来自 LTM 的提升或突出的信息,即,将选定部分标记为与当前加工相关的活动(例如,Ruchkin 等人,2003)。因此,STM 原则上可以为预测感觉输入提供最佳的机制,因为它可以在随后的比较过程中以高度可访问的状态保持相关的先验。有一些经验证据表明 STM 是预测所必需的。在一项相关的研究中,Travis 和他的同事(2013 年)使用了一种叫做上下文提示的视觉搜索范式,在这种范式中,参与者在看似随机的布局中搜索一个特定的目标,这个目标的身份在整个实验中保持不变。在他们不知道的情况下,一些布局在实验中重复了几次,参与者学会在这些布局中比在其他布局中更快地找到目标的位置。Travis 等人发现,当参与者在执行视觉搜索任务时必须在 STM 中保持额外的信息时,这种便利性受到阻碍,这表明 STM 对于预测物体的位置是必需的。此外,Cashdollar 等人(2017 年)证明, 在要求参与者注意一系列图像的任务中,STM 容量与预测的神经相关性相关。这些图像有一个概率分布,允许对其中一些进行预测。被试的短时记忆能力与预期过程的神经关联相关,这表明短时记忆在预测客体身份方面也有作用。

STM 与预测过程相关的观点也得到行动计划和执行领域的研究的支持。工作记忆一词最初是在计划行为的语境中引入的,指的是一种“当计划正在形成、转换或执行时,可以被暂时保留”的系统(Miller  et  al  . , 1960 , p.  207) 。有 人 认为,“工作记忆‘只不过’是执行一个动作的准备 , 无 论 是 动 眼 、 手 动 、 口 头 还 是 其 他 方式”(Theeuwes 等人,2009 年,第 198 页)。具体来说,工作记忆被认为对储存运动相关的视觉空间信息和行动计划都很重要(Postle,2006)。最近一项结合脑电图和功能性磁共振成像的研究表明,当工作记忆中保留的视觉内容与未来将要执行的特定动作相关联时,运动区的预激活,从而支持了工作记忆 在 行 动 规 划 中 发 挥 作 用 的 观 点 (van Ede,2020)。

工作记忆和行动计划之间的联系与最小化意外和预测错误的原则高度一致，因为感觉数据的一个重要原因是经历这些数据的有机体所追求的行动过程。如果人类根据他们计划的行动来预测他们的感觉，那么他们必须代表他们过去和未来的行动过程所产生的数据。在下文中，我们认为如果将 STM 视为预测设备的衍生物，则可以解释 STM 容量的限制。

预测必须是容量有限的

为了做出准确的预测,大脑必须代表事件的所有不确定性。然而,动态自然环境的一个重要特征是, 人们对未来的预测越深入,预测通常就变得越不确定。因此,与预测的不确定性的表示相关联的成本随着时间距离而急剧上升:如在国际象棋游戏中, 可能的配置(即,环境的状态)的数量随着要预测的移动的数量而指数上升。一个人要对下一步行动做出明智的决定,所有这些可能性和它们的不确定性都必须表现出来。

自然环境中的事件本质上是随机的,因为一个事件的概率取决于前一个事件的概率。例如,如果一个刚刚遇到的人伸出他的手,他的手势是友好的可能性取决于他之前是否表现出友好的面部表情;如果相反,他的面部表情暗示着攻击性,那么他伸出手来表示暴力行为的可能性就要高得多。为了绕过未来事件固有的不可预测性及其随机依赖性,最好使用有限的预测窗口。理想情况下,这个窗口不应该在离现在太近的地方结束,因为那样它不能有效地指导感知和行动,但也不应该延伸到太远的未来,因为那样表示会变得太昂贵(计算复杂)。图 1 显示了在随机环境中,作为从现在到未来的时间距离的函数的可能事件的数量。仅仅几个时间步骤之后,对未来的预测(a)变得太昂贵,因为需要表示所有可能的事件,以及(b)变得几乎无用,因为即使最可能的事件发生的概率也很低。因此,大脑的最佳策略是只预测短序列,这些短序列足够长以允许调整行为,但又足够短以避免可能性的指数爆炸和最可能序列的概率的指数衰减

在表示世界上的状态轨迹的准确性和复杂性之间的平衡方面,可以更技术性地表达基本思想。简而言之,依赖于离散状态的序列或连续的主动推理和预测处理的当前公式(例如,使用马尔可夫决策过程)考虑了从时间周期的开始到结束的少量离散步骤。随着时间的推移,这些顺序表征扮演着短时记忆和前瞻记忆的双重角色(即,对短期过去和未来的表征)。这些表示赋予生成模型以时间深度,并且对于根据预期的结果来评估动作的质量是必要的。至关重要的是,这些类型的生成模型可以根据它们的证据(或变化的自由能界限)进行优化。因为证据是准确性和复杂性之间的差异,所以必须有过去(或未来)的最佳时间步数来保持给定程度的预测准确性。如果有太多的时间步长,则生成模型中的自由度将增加其复杂性,其方式无法通过伴随的精度增加来平衡,因为世界的未来状态变得越来越不确定

通过说 STM 的容量限制是适应性的,我们的意思是它产生于对生物系统中计算复杂性的限制和准确性益处之间的最佳折衷。随着 STM 容量的增加,精度优势饱和(即,达到上限),容量的进一步增加带来额外的计算成本(复杂性),而没有好处。这意味着,根据 STM 的拟议功能作用,容量限制是可以预期的。

这种时间尺度的分离在层级生成模型中普遍存在,在层级生成模型中,较高层预测较低层的短轨迹。阅读提供了一个直观的例子:句子预测单词的短序列,单词本身预测字母的短序列(Friston et al .,2018)。这种设置还被用于模拟涉及延迟期的工作记忆任务,以说明对某个项目的持续呈现超过了其可见的时间段(Parr & Friston,2017)。同一种结构可能支持记忆策略,如组块,其中一系列短序列,通常约四至六个项目长,用于记忆长序列(如 Mathy & Feldman,2012)。

有人可能会说 STM 不一定只用于预期过程。然而,所有需要 STM 的实验任务最终都需要参与者保存信息,以便与未来的感知信息(探测)和/或预期的行动(反应)进行比较。从这个角度来看,短时记忆任务构成了一个预测加工问题。从环境中提取与现在或不久的将来的感知推断相关的信息,然后与输入的感觉信息进行比较,并且执行内部推断和/或外部动作来解决任何差异

如果一个考虑到 LTM 是一个保存过去的结构,人类对错误记忆的易感性似乎是次优的。关于人类如何通过在原始暴露的编码阶段之后添加新信息来构建新的、虚构 的 情 节 , 有 大 量 的 文 献 ( 关 于 综 述 , 参 见Loftus,2005)。然而,如果 LTM 利用过去的信息来模拟未来的情节,这样的错误就更有意义了,因为它们可以被认为是 LTM 在创作小说情节时的灵活性的副作用(Schacter & Addis,2007)。同样的想法也适用于 STM。STM 可以用来推断过去和未来, 但是如果从预测大脑的角度来看 STM,它的能力限制是最有意义的。

对进一步理论化和研究的启示

我们已经提出了一个关于 STM 容量限制的计算观点。也就是说,我们专注于系统必须解决的问题, 也就是说,尽可能实现最准确和最有信心的预测。

这一观点揭示了 STM 的容量限制是可以预期的。我们的观点可能会提供新的研究途径,偏离目前对STM 作为储存过去感觉输入的功能的关注。先前关于预测过程的工作主要集中在偏离预期(即预测误差)的神经后果上。大脑如何为即将到来的信息做准备的问题还没有得到广泛的解决,通过将 STM 视为代表自上而下预测的活动,可以刺激该领域的研究,这些预测是为了随后与感官输入进行比较而保留的。未来工作的另一个途径是对个体差异的评估,即低短时记忆能力和高短时记忆能力的个体在不同水平上的预测能力是否不同以及如何不同。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”