Science：挑战传统理论，重塑联想学习概念

来源：brainnews

编译作者：Young（brainnews创作团队）

校审：Simon（brainnews编辑部）

学会根据环境线索预测奖赏对生存至关重要。人们认为，动物通过在结果偏离预期时更新预测来学习预测奖赏，而这种奖赏预测错误（RPEs）是由学习的关键控制者中脑边缘多巴胺系统发出的信号。然而，动物还可以通过学习奖励的回溯原因来推断预测，而不是从RPEs中学习前瞻性预测。

简单的说，如果动物知道它刚刚收到的刺激是有意义的（例如，奖励），它可以回顾记忆来推断其原因。鉴于多巴胺在学习中的中心作用，多巴胺可能会引导回溯性因果学习，而不是传递RPE。

近日，美国加利福尼亚大学神经病学系Vijay Mohan K Namboodiri助理教授研究团队在Science上发表研究，开发了一种用于回顾性因果学习的算法，发现中边缘多巴胺的释放传递了因果关联，而不是RPE，从而挑战了奖赏学习中的主导理论。重塑了联想学习的概念和生物学框架。

回顾性因果学习算法

学习前瞻性预测的一个简单方法是，每当提示后的结果偏离预测时，更新预测[Fig.1A,B]。这种违反奖赏预测的行为通常被称为奖赏预测错误（RPEs）。时间差强化学习（TDRL）模型扩展了Rescorla Wagner模型，以解释线索结果延迟，是最广泛接受的奖励学习模型。

TDRL RPE已成为多巴胺作为行为学习关键调节器的主导理论。研究人员提出了一种因果推断算法，该算法通过测量线索是否比偶然预期更先于奖赏，从而来推断线索是否是奖励的原因[Fig.1C]。

Figure 1 一种揭示环境中因果关联的算法

未预测奖赏测试

本研究算法提出，有意义的因果目标通过调整后的因果关系净偶然性（ANCCR）来发出信号。因此，RPE假说预测多巴胺对蔗糖的反应会随着重复经历而减少，而ANCCR假说则预测反应会增加。

结果观察到的中脑边缘多巴胺释放与ANCCR一致，但与RPE不一致[Fig.2D,E]。每只动物都表现出增加的蔗糖反应，达到高阳性渐近线。这与RPE完全不一致：因为RPE是收到的和预测的奖励之间的差异，它不能高于未预测的奖励。

Figure 2 多巴胺对非预期回报的反应动力学与ANCCR一致，但与TDRL RPE不一致

线索奖励学习测试

在线索奖励学习过程中，RPE和ANCCR都预测多巴胺对线索的反应在学习早期会很低，而在学习后期会很高。结果发现学习期间观察到的多巴胺能动力学与ANCCR一致，但与RPE不一致：早在动物表现出预期舔之前，多巴胺对CS+的反应就很明显[Fig.3A,B]。

接下来测试了学习线索奖励关联的消失。学习联想的消失不会导致原始联想的消失。TDRL在消散后学习到零线索值，从而预测多巴胺能线索反应将随着行为学习而减少到零。而ANCCR与RPE所预测的不同，在动物停止对线索的行为反应后，多巴胺线索反应仍然显著积极[Fig.3J-L]。

Figure 3 线索奖赏学习期间多巴胺反应的动力学与ANCCR一致，但与TDRL RPE不一致

测试中的反向传播

TDRL RPE的一个关键假设是多巴胺反应驱动前一状态的价值学习。研究人员测试了这一中心假设的三个预测。第一个是，在获得微量条件反射的过程中，多巴胺的反应从奖励前一刻开始系统性地反向传播。与TDRL RPE不同，ANCCR不进行这样的预测，因为ANCCR中的延迟周期没有被分解成状态[Fig.4A]。

第二个是，在顺序调节期间（cue1预测 cue2预测奖励），多巴胺反应首先增加到cue2，然后增加到cue1。ANCCR反而预测，当得知cue2是由cue1引起的时，多巴胺对两种线索的反应会一起增加，随后会分化[Fig.4C]。

第三个，在连续条件调节期间，人为地抑制cue2释放多巴胺以获得奖励，将阻止cue1反应的学习。相反，在ANCCR中抑制cue2反应只会阻止cue1-cue2关联学习，并且不阻止cue1响应的学习[Fig.4E-H]。

Figure 4 学习期间多巴胺信号无反向传播

结论

NAcc中中脑边缘多巴胺释放的动力学在大量实验中与TDRL RPE不一致，但仍与因果学习算法一致。这里提出的算法通过测试刺激是否先于偶然预期的奖励，并将这种关联转换为预期预测。

参考文献

Jeong, Huijeong et al. “Mesolimbic dopamine release conveys causal associations.” Science (New York, N.Y.), eabq6740. 8 Dec. 2022, doi:10.1126/science.abq6740

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”