来源：北京脑
编辑：绿萝
导语：20 世纪 60-70 年代，斯坦福大学心理学家瓦尔特•米舍尔团队进行了一系列有关自制力的心理学实验，其中包括著名的棉花糖实验，得出结论：「能为偏爱的奖励坚持忍耐更长时间的小孩通常具有更好的人生表现。」「培养孩子的延迟满足能力」的教育理念也因此流传甚广。但学界对此争议不断，认为实验不够严谨，结论一度被推翻。
心理学实验结果实际上受到多种社会条件的综合影响，我们更想了解的是，这一切的神经基础是什么？面对「糖」（奖励），大脑发生了怎样的「内部活动」？
2021 年 12 月 1 日，北京脑科学与类脑研究中心孙文智团队，上海科技大学胡霁团队和纽约大学汪小京团队在国际期刊 Science Advances 在线发表题为「The neural basis of delayed gratification」的研究论文，揭示了 VTA 多巴胺能神经元在延迟满足这一心理过程中的神经基础，为提高自控能力和治疗注意力缺陷多动障碍提供了一定的思路。
平衡即时满足（instant gratification）与延迟满足(delayed gratification)，对于优化个体的生存和繁殖至关重要。反复暴露于即时满足会破坏这个平衡，从而引起冲动的决定，甚至诱发一些疾病，比如成瘾、肥胖以及注意力缺陷综合症等。延迟满足是平衡延迟与显著奖励的心理过程，往往体现了个体的耐心、毅力还有自控能力。自 20 世纪 60 到 70 年代，斯坦福大学心理学家瓦尔特•米舍尔(Walter Mischel)开展棉花糖实验以来，科学家们通过人类心理和大脑活动的监测以及动物模型对延迟满足进行了很长时间的研究，但对其神经基础所知甚少。
北京时间 2021 年 12 月 1 日，北京脑科学与类脑研究中心孙文智团队，上海科技大学胡霁团队和纽约大学汪小京团队在国际期刊 Science Advances 在线发表题为「The neural basis of delayed gratification」的研究论文，揭示了中脑腹侧被盖区（ventral tegmental area，VTA）多巴胺能（Dopaminergic，DAergic）神经元在延迟满足中的神经基础。该研究通过训练小鼠执行延迟满足任务，并结合光纤记录、单细胞在体电生理记录、光遗传学和强化学习模型等方法发现（1）中脑腹侧被盖区多巴胺能神经元在小鼠等待期间缓慢增加的活动模式编码了延迟满足中等待的价值；（2）延迟满足的决策过程需要进行实时思考。
图 1：光纤记录与 VTA 多巴胺能神经元在小鼠等待期间的钙活动变化。
首先，研究者训练小鼠学会执行正常的觅食任务和新颖的延迟满足任务，其中小鼠在等待区的等待时间（waiting duration）以及随后的跑动时间(running duration)分别被用来评判小鼠执行任务的好坏和积极性。经过一个月的训练，小鼠都能很好的执行延迟满足任务，即学会了通过等待更长时间来获得更大的奖励。训练的同时，研究者通过光纤记录的方式结合 Dat-Cre 小鼠特异性的记录了 VTA 多巴胺能神经元的钙活动变化。对不同等待时长的钙信号进行统计分析后，他们发现小鼠延迟满足等待期间 VTA 多巴胺能神经元的钙活动以相对稳定的趋势缓慢上升。
在体单细胞电生理记录结果进一步表明，VTA 多巴胺能神经元的放电频率在一定程度也表现出缓慢上升的特征。研究者通对这些神经元的放电进行卷积计算，模拟了这些神经元的钙活动变化，结果发现模拟出来的钙活动和光纤记录的钙活动高度一致。他们认为，延迟满足期间 VTA 多巴胺能神经元的高频放电维持了小鼠的等待行为。
图 2：光遗传操控显著改变了小鼠的等待行为。
那么，改变 VTA 多巴胺能神经元的放电模式是否会影响小鼠的等待行为呢？为了验证这个问题，研究者在小鼠执行延迟满足任务的等待期间以 20% 的概率对 VTA 多巴胺能神经元的活动进行了光遗传操控，结果发现激活多巴胺能神经元只会使激活对应试验的小鼠等待时间显著延长，而抑制则会表现出相反的结果。
图 3：强化学习模型示意以及模型对实验数据的模拟预测。
小鼠在延迟满足任务中的什么时候进行决策，以及等待过程中缓慢上升的多巴胺能神经活动到底编码了什么？为了回答以上的问题，研究者分别建立了两种强化学习模型：预先决定（decision ahead）和连续思考（continuous deliberation）来分别对动物行为实验、光纤记录实验以及光遗传实验的数据进行预测模拟，结果显示连续思考的强化学习模型模拟的结果与实验数据更加吻合，提示等待期间缓慢上升的多巴胺能活动编码了延迟满足等待的价值，并进一步揭示延迟满足的决策是一个实时思考的过程。
图 4：等待期间 VTA 的多巴胺能神经活动预测了小鼠的行为表现。
最后，研究者通过对小鼠的等待时间和 VTA 多巴胺能神经元钙活动的进一步分析发现，当前状态下多巴胺能活动的强弱只会影响一下刻小鼠的等待行为，一定程度上 VTA 多巴胺能神经元活活动越强小鼠的等待概率也越高，这一点与光遗传结果是一致的，研究者从小鼠自身角度揭示了 VTA 多巴胺能神经元在延迟满足中发挥的作用。（图4）
该研究从新颖的行为学范式开始，结合各种神经元活动记录和操控手段，最后通过强化学习模型和数据分析，揭示了 VTA 多巴胺能神经元在延迟满足这一心理过程中的神经基础，为提高自控能力和治疗注意力缺陷多动障碍提供了一定的思路。
北京脑科学与类脑研究中心孙文智研究员、上海科技大学生命科学与技术学院胡霁研究员与纽约大学神经科学中心汪小京教授为本文的共同通讯作者。北京脑科学与类脑研究中心&北京大学前沿交叉学科研究院联合培养的博士后高子龙以及清华大学本科生（时为纽约大学交流生，现为约翰霍普金斯大学博士生）王汉青为本文的共同第一作者。上海科技大学的博士生卢琛，北京脑科学与类脑研究中心博士生卢铁湛，汪小京的博士后 Sean Froudist-Walsh，以及上海科技大学的陈明副研究员也在其中做出了重要贡献。本研究的在体单细胞记录受到了北京生命科学研究所卢立辉博士后的指导。该研究主要受国家自然基金和上海市浦江人才计划的支持。本研究还得到了北京脑科学与类脑研究中心的饶毅教授，罗敏敏教授和戈鹉平高级研究员，华中科技大学的周伟副教授，上海脑科学与类脑研究中心的闵斌研究员的大力支持，以及上海科技大学生命科学与技术学院分子影像中心平台的服务。
未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。
如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
