NeuroImage | 右侧颞上回在语义规则学习中的作用:来自强化学习模型的证据

在现实生活中,许多规则的获取通常需要使用语言作为桥梁,特别是语义在信息传递中起着至关重要的作用。另外,个体使用的语言往往具有明显的奖励和惩罚元素,如赞扬和批评。一种常见的规则是寻求更多的赞扬,同时避免批评。以往的研究使用概率反转学习任务来检查抽象规则的学习。这个任务的结构涉及两个行为选择的奖励分配:当一个行为是高奖励,则另一个必然是高惩罚,反之亦然,并且在一段时间后规则将会发生偶然性的反转。这些研究经常使用不规则的图像作为刺激,以检查非语言刺激和反应之间的联系。然而,与非语言刺激相比,词汇的语义处理需要额外的认知资源,语义和反应之间的连接可能会更加复杂。

近日,辽宁师范大学脑与认知神经科学研究中心的刘欢欢副教授(通讯作者)和刘林焱(第一作者)在国际高水平期刊《NeuroImage》上发表题为“The right superior temporal gyrus plays a role in semantic-rule learning: Evidence supporting a reinforcement learning model”的研究论文。论文在强化学习框架下,采用Rescorla-Wagner强化学习算法的分层贝叶斯扩展模型,涉及期望值、预测误差、学习率和结果敏感性,以此推断被试与规则学习相关的内部状态,设计了语义规则和颜色规则的学习任务,并巧妙的加入了一个弱语义规则学习任务,即第二语言(L2)下的规则学习。结果表明涉及语义的规则学习并不是类似于条件刺激-反应的一般符号学习,而是具有自己独特的特征,右侧颞上沟在这种语义规则的学习中至关重要。

实验设计

实验要求被试判断何种规则(即语义规则或颜色规则)对应当前规则学习任务中的最高奖励概率。例如,前20 次试验中的规则是颜色,那么选择正确的颜色会导致奖励与惩罚的比例为80:20。此时,如果被试根据语义类别选择刺激,则奖励与惩罚的比例为50:50。该实验共进行四轮,其中两次以中文呈现,两次以英文呈现(见图1)。

图片

图1 实验步骤和实验流程

实验结果

图片

图2 行为结果

如图2所示,当规则更新时,被试重新学习了正确的规则。强化学习模型一共建立了四个语言模型、四个规则模型和一个基线模型。基线模型不包括语言和规则的影响。通过一般适用信息标准(WAIC)筛选出最优的语言模型和最优的规则模型。最后,将最优的语言模型和最优的规则模型结合,形成一个整合模型。如图3所示,根据强化学习模型WAIC指标的比较,整合模型具有最低的WAIC。

图片

图3 强化学习模型对比

敏感性分析如图4所示,L1组的敏感性显著高于L2。结果敏感度越高,被试越倾向于获得奖励或不接受惩罚。fMRI的结果也表明在反馈阶段,左侧纹状体(MNI空间坐标:-33, - 6, 9)在L1组下的激活强于L2(GRF校正),支持了母语反馈比外语反馈的规则学习更敏感。此外,敏感性与不同语言下的平均奖励得分的相关分析表明,敏感度越高的被试积累的奖励越多,任务表现越好。

图片

图4 结果敏感性的语言差异

如图5所示,语义规则下对于预测误差的加工定位于右侧颞上回(STG),表明右侧STG是言语刺激学习中一个独特的脑区。注意,这是回归的斜率差异,而不是激活的差异。语义规则条件主效应的回归方向为正,而颜色规则条件的回归方向为负,表明不同规则在右侧STG的活动模式差异是定性的,而不是定量的。

图片

图5 基于模型分析的fMRI结果

结论

这项研究揭示了语义影响规则学习的神经基础。研究修正了传统的强化学习模型,将语言对结果敏感性的影响、规则对学习率的影响纳入其中,以证实语义通过特殊的“条件刺激”影响规则学习。结果表明,母语的规则学习对反馈更为敏感,被试能够根据当前规则调整自己的学习策略。重要的是,这项研究揭示了语言刺激的规则学习存在独特的神经机制,定位于右侧STG。这些发现强调了依赖于语言的规则学习有其特殊性,不同于一般符号的学习。

论文信息:Linyan Liu, Dongxue Liu, Tingting Guo, John W. Schwieter, & Huanhuan Liu, The right superior temporal gyrus plays a role in semantic-rule learning: Evidence supporting a reinforcement learning model, NeuroImage (2023), doi: https://doi.org/10.1016/j.neuroimage.2023.120393

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/106212.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【翻译】Efficient Data Loader for Fast Sampling-Based GNN Training on Large Graphs

转载请注明出处:小锋学长生活大爆炸[xfxuezhang.cn] 此内容为机器翻译的结果,若有异议的地方,建议查看原文。 机器翻译的一些注意点,比如: 纪元、时代 > epoch工人 > worker火车、培训、训练师 > train Effic…

c# 弹出背景透明图

1. 在窗体中添加 picturebox 控件 2. 在 picturebox 中添加 “png ” 背景透明图,或者GIF图,属性设置如下 3. 在窗体初始化中,添加如下代码 this.BackColor Color.LimeGreen; this.TransparencyKey Color.LimeGreen; 此功能可以用来展示…

只出现一次的数字Ⅱ

题目:力扣(LeetCode)官网 - 全球极客挚爱的技术成长平台 题解:对数组进行排序,排序后循环判断当前子元素与前后子元素是否相等,不相等即为只出现一次的数字 代码: public int singleNumber(i…

【Vue面试题三十】、vue项目本地开发完成后部署到服务器后报404是什么原因呢?

文章底部有个人公众号:热爱技术的小郑。主要分享开发知识、学习资料、毕业设计指导等。有兴趣的可以关注一下。为何分享? 踩过的坑没必要让别人在再踩,自己复盘也能加深记忆。利己利人、所谓双赢。 面试官:vue项目本地开发完成后部…

一卷到底,大明哥带你横扫 Netty

上一个死磕 Java 专栏【死磕 NIO】(当然写的不是很好,争取今年将它重写一遍)是**【死磕 Netty】**的铺垫,对于我们 Java 程序员而言,我们在实际开发过程一般都不会直接使用 Java NIO 作为我们的网络编程框架,因为写出一套高质量的…

基于和声优化的BP神经网络(分类应用) - 附代码

基于和声优化的BP神经网络(分类应用) - 附代码 文章目录 基于和声优化的BP神经网络(分类应用) - 附代码1.鸢尾花iris数据介绍2.数据集整理3.和声优化BP神经网络3.1 BP神经网络参数设置3.2 和声算法应用 4.测试结果:5.M…

内网渗透——隧道代理

文章目录 代理代理使用场景VPS建立隧道frpMSF木马生成监听开启frp服务端和客户端执行exe木马文件 代理 实验环境: 攻击机kali:192.168.188.133(NAT模式) 模拟的公网服务器(本机):10.9.75.239 …

.locked勒索病毒的最新威胁:如何恢复您的数据?

引言: 在数字化的时代,.locked勒索病毒代表了数字安全面临的极大挑战。这篇文章将深入探讨.locked勒索病毒的威胁本质,以及如何在数据被加密的情况下恢复,同时提供了关键的预防措施。数据的重要性不容小觑,您可添加我…

国家开放大学 模拟 试题 训练

试卷代号:21 刑法学(2) 参考试题 一、选择题(每小题的备选答案中至少有一个是正确的,请将正确答案的序号字母填入题目括号内。多选、少选均不得分。每小题3分,共21分) 1.王某驾车时不小心将李某撞至马路边沿上&…

kube-controller-manager和kube-scheduler不能正常启动

kube-controller-manager-k8s-worker01和kube-scheduler-k8s-worker01没有启动起来 原因: 解决:进入/etc/kubernetes/manifests 编辑 将镜像地址修改为 然后重启kubelet:systemctl restart kubelet.service

freefilesync文件同步软件

下载 下载链接 https://freefilesync.org/download.php 往下拉,看到下载的链接 下载windows版本 下载地址: https://freefilesync.org/download/FreeFileSync_13.0_Windows_Setup.exe 直接复制到浏览器中访问就能下载 安装 双击安装包,一路默…

Megatron-LM GPT 源码分析(二) Sequence Parallel分析

引用 本文基于开源代码 https://github.com/NVIDIA/Megatron-LM ,延续上一篇Megatron-LM GPT 源码分析(一) Tensor Parallel分析 通过对GPT的模型运行示例,从三个维度 - 模型结构、代码运行、代码逻辑说明 对其源码做深入的分析。…

zookeeper应用场景(二)

单机环境下可以利用jvm级别的锁,比如synchronized、Lock等来实现锁,如果是多机部署就需要一个共享数据存储区域来实现分布式锁 一、分布式锁实现方式 1、基于数据库实现分布式锁 可以用数据库唯一索引来实现 2、基于redis实现分布式锁 redis实现的分…

【Vue面试题二十六】、SSR解决了什么问题?有做过SSR吗?你是怎么做的?

文章底部有个人公众号:热爱技术的小郑。主要分享开发知识、学习资料、毕业设计指导等。有兴趣的可以关注一下。为何分享? 踩过的坑没必要让别人在再踩,自己复盘也能加深记忆。利己利人、所谓双赢。 面试官:SSR解决了什么问题&…

回归预测 | MATLAB实现IBES-ELM基于改进的秃鹰搜索优化算法优化极限学习机的数据回归预测(多指标,多图)

回归预测 | MATLAB实现IBES-ELM 基于改进的秃鹰搜索优化算法优化极限学习机的数据回归预测(多指标,多图) 目录 回归预测 | MATLAB实现IBES-ELM 基于改进的秃鹰搜索优化算法优化极限学习机的数据回归预测(多指标,多图&a…

变分自动编码器 (VAE)02/2 PyTorch 教程

一、说明 在自动编码器中,来自输入数据的信息被映射到固定的潜在表示中。当我们旨在训练模型以生成确定性预测时,这特别有用。相比之下,变分自动编码器(VAE)将输入数据转换为变分表示向量(顾名思义&#xf…

python 练习--更新

1.判断一个列表中的数值是否全部小于某个数 方法一:利用if函数 (只要列表中有一个数字比大 就可以终止比较) n int(input("请输入需要比较的数字:")) arr1 [1,3,4,5,8] index 0 for i in arr1:if i > n:index 1continue…

服务器崩溃前的数据拯救实践

前言 在服务器的VMWARE ESXi系统环境中,我们经常需要创建虚拟机来运行各种应用程序。然而,服务器如果偶尔出现自动重启以及紫屏报错的问题,说明服务器内部出现了故障,一般情况下重启机器能够解决问题,但时间一长&…

[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts

pdf Text-to-3D任务中,对3D模型外观的控制不强,本文提出IPDreamer来解决该问题。在NeRF Training阶段,IPDreamer根据文本用ControlNet生成参考图,并将参考图作为Zero 1-to-3的控制条件,用基于Zero 1-to-3的SDS损失生成…

一、K8S第一步搭建

一、初始化操作 1.1、关闭防火墙 systemctl stop firewalld systemctl disable firewalld关闭交换空间 swapoff -a # 临时 sed -ri s/.*swap.*/#&/ /etc/fstab # 永久重启才能生效 根据规划设置主机名 hostnamectl set-hostname <hostname>映射主机 cat >>…