稳态视觉诱发电位 (SSVEP) 分类学习系列 (4) :Temporal-Spatial Transformer

稳态视觉诱发电位分类学习系列:Temporal-Spatial Transformer

  • 0. 引言
  • 1. 主要贡献
  • 2. 提出的方法
    • 2.1 解码的主要步骤
    • 2.2 网络的主要结构
  • 3. 结果和讨论
    • 3.1 在两个数据集下的分类效果
    • 3.2 与基线模型的比较
    • 3.3 消融实验
    • 3.4 t-SNE 可视化
  • 4. 总结
  • 欢迎来稿

论文地址:https://www.sciencedirect.com/science/article/abs/pii/S1746809423007929
论文题目:Temporal–spatial transformer based motor imagery classification for BCI using independent component analysis
论文代码:暂无

0. 引言

脑电图数据的复杂性可变性低信噪比在解码这些信号方面提出了重大挑战,尤其是在以与受试者无关的方式解码时。为了克服这些挑战,我们提出了一种基于transformer的方法,该方法采用自注意力过程来提取时间和空间域中的特征。为了在 MI EEG 通道之间建立空间相关性,自注意力模块通过平均所有通道的特征来定期更新每个通道。这种加权平均可提高分类准确性,并消除手动选择通道产生的伪影。此外,时间自注意力机制全局顺序信息编码到每个采样时间步长的特征中,从而可以从MI EEG数据中提取时域中的高级时间属性。

总的来说:本文对于位置编码的应用有了新的理解,感兴趣的同学可以进行尝试来验证该策略的好坏。。。

1. 主要贡献

  1. 该文提出一种基于Transformer编码器的具有注意力机制的神经网络。
  2. 纳入了一种为特征通道分配权重的方法。
  3. 对公共数据集 2a 和 2b 的验证表明,所提出的模型具有竞争力。

2. 提出的方法

在这里插入图片描述

2.1 解码的主要步骤

解码的主要步骤:

  1. 数据预处理。进行ICA处理和Zscore标准化
  2. 时间变压器模块。普通transformer结构。
  3. 空间变压器模块。与时间变压器模块相似,只不过加入了数据的空间位置信息(Positional embedding)。
  4. 分类模块。

2.2 网络的主要结构

具体网络结构如下图所示:
在这里插入图片描述

3. 结果和讨论

3.1 在两个数据集下的分类效果

2a/2b 数据集的精度召回率F1 分数
在这里插入图片描述

3.2 与基线模型的比较

在这里插入图片描述

3.3 消融实验

带 TT MSA 的 TST:仅对时间变压器 (TT) 层进行多自注意,无需添加 ICA 滤波器。
TST:具有多自注意力机制的时间变压器(TT)和空间变压器(ST)层,无需ICA滤波器。
TST-ICA:ICA滤波后具有多自注意力机制的时间变换器(TT)和空间变换器(ST)层。

在这里插入图片描述

3.4 t-SNE 可视化

t分布随机邻居嵌入(t-SNE)可视化技术将提取的脑电图特征转换为二维嵌入空间

(a) 分类前的数据分配。(b) 时间变换块后的数据分布。(c) 空间变换块后的数据分布。(d) 分类后的数据分配。
在这里插入图片描述

4. 总结

到此,使用 稳态视觉诱发电位 (SSVEP) 分类学习系列 (4) :Temporal-Spatial Transformer 已经介绍完毕了!!! 如果有什么疑问欢迎在评论区提出,对于共性问题可能会后续添加到文章介绍中。

如果觉得这篇文章对你有用,记得点赞、收藏并分享给你的小伙伴们哦😄。

欢迎来稿

欢迎投稿合作,投稿请遵循科学严谨、内容清晰明了的原则!!!! 有意者可以后台私信!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/3970.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【后端学习笔记·Golang】手机短信验证

文章目录 手机号码验证前置准备开通阿里云sms服务获取AccessKey并下载sdk 生成随机验证码将验证码发送到用户手机接口发送验证码校验验证码 手机号码验证 流程: 接收用户请求后生成随机验证码,并将验证码存入Redis中,并设置TTL通过阿里云sd…

Qt : 实现串口的同步和异步读写消息

一、同步/异步 在串口通信中,同步和异步读写消息是两种常见的通信模式。下面简要介绍它们的区别和示例: 同步读写消息 同步读写:在同步通信中,发送方发送数据后会等待接收方的响应,直到接收到响应后才继续执行后续操…

【C++】C++ 锁(std::mutex)的使用及其使用

在C中,锁是一种同步机制,用于保护共享资源在多线程环境下的访问安全,防止因并发访问导致的数据不一致、竞态条件等问题。 以下是对C中锁相关概念、类型以及使用方法的详细介绍: 1. 互斥锁(Mutex) 互斥锁…

【进阶六】Python实现SDVRPTW(需求拆分)常见求解算法——禁忌搜索+模拟退火算法(TS+SA)

基于python语言,采用经典禁忌搜索(TS)模拟退火(SA)对 带硬时间窗的需求拆分车辆路径规划问题(SDVRPTW) 进行求解。 目录 往期优质资源1. 适用场景2. 代码调整2.1 需求拆分2.2 需求拆分后的服务时…

EureKa技术解析:科技行业的革新风暴(ai写作)

首先,这篇文章是基于笔尖AI写作进行文章创作的,喜欢的宝子,也可以去体验下,解放双手,上班直接摸鱼~ 按照惯例,先介绍下这款笔尖AI写作,宝子也可以直接下滑跳过看正文~ 笔尖Ai写作:…

如何驱动消费者自我裂变,助力平台引流与卖货双重提升

大家好,我是微三云周丽 在浩瀚的商业海洋中,电商行业一直以其独特的魅力和无限的可能性吸引着众多创业者和投资者的目光。近年来,一种被誉为电商模式中的“神盘”——众筹卖货模式,正悄然崭露头角,以其独特的运作方式…

Docker 入门篇(二)-- Linux 环境离线安装

引言 docker 系列文章: Docker 入门篇(一)-- 简介与安装教程(Windows和Linux) 一、安装环境准备 centos :CentOS Linux release 7.6.1810 (Core)docker 版本:docker-26.1.0.tgz 官网下载地址…

【RAG 论文】Chain-of-Note:为 RAG 引入 CoT 让模型生成阅读笔记来提高面对噪音文档和未知场景的鲁棒性

论文:Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models ⭐⭐⭐ Tencent AI Lab, arXiv:2311.09210 文章目录 一、论文速读二、实现的细节2.1 Note Design2.2 Data Collection2.3 Model Training 三、实验结果3.1 QA Performance3.2 对 …

虚拟机VMware下ROS Neotic(Ubuntu 20.04)下安装OpenCV

一、ROS安装 ROS的官方安装步骤: 1、noetic / Ubuntu 20.04 : http://wiki.ros.org/noetic/Installation/Ubuntu 2、melodic / Ubuntu 18.04: http://wiki.ros.org/melodic/Installation/Ubuntu 3、kinetic / Ubuntu 16.04: http:…

第三节课,后端登录【1】.2--本人

一、视频链接 网址: 后端用户脱敏和session-CSDN直播 二、代码开始 2.1 新建一个request参数。完成用户登录态键 快捷建, 全局变量 代码: // 3.记录用户的登录态/*** 这段代码是Java Web开发中的一部分,用于在会话&#xff08…

【目标检测】FPN特征金字塔完整流程详解

学习视频:1.1.2 FPN结构详解 对比 可以看到FPN是自上而下、自下而上并且可以进行多尺度特征融合的的层级结构。 具体结构 1x1 conv: 对通道数进行调整,不同大小的特征图通道数不同,越高层次的特征图通道数越大,论文中使用256个1…

ChatGPT/GLM API使用

模型幻觉问题 在自然语言处理领域,幻觉(Hallucination)被定义为生成的内容与提供的源内容无关或不忠实,具体而言,是一种虚假的感知,但在表面上却似乎是真实的。产生背景 检索增强生成(RAG&…

leetcode541 反转字符串 II

给定一个字符串 s 和一个整数 k,从字符串开头算起,每计数至 2k 个字符,就反转这 2k 字符中的前 k 个字符。 如果剩余字符少于 k 个,则将剩余字符全部反转。如果剩余字符小于 2k 但大于或等于 k 个,则反转前 k 个字符&…

线性神经网络示例

通过5个条件判定一件事情是否会发生,5个条件对这件事情是否发生的影响力不同,计算每个条件对这件事情发生的影响力多大,写一个线性神经网络模型pytorch程序,最后打印5个条件分别的影响力。 一 在这个场景中,一个线性神经网络&…

【python量化交易】——文章目录指引

【python量化交易】—— 文章目录指引 blog里的文章越来越多,初来乍到的读者朋友很可能会无法快速找到想看的主题,因此,我把文章按照主题归类,并随时更新以保持同步,以方便朋友们查找。 获取金融数据,请参…

代码随想录算法训练营DAY32|C++贪心算法Part.2|122.买卖股票的最佳时机II、55.跳跃游戏、45.跳跃游戏II

文章目录 122.买卖股票的最佳时机II思路CPP代码 55.跳跃游戏思路CPP代码 45.跳跃游戏II思路方法一代码改善 CPP代码 122.买卖股票的最佳时机II 力扣题目链接 文章讲解:122.买卖股票的最佳时机II 视频讲解: 状态:本题可以用动态规划&#xff0…

boa交叉编译(移植到arm)

参考:CentOS7 boa服务器的搭建和配置-CSDN博客 以下操作在宿主机/编译平台操作: 1. 先执行[参考]1到3、 4.2、4.3、4.4、4.5 2. 修改MakeFile # 由以下: CC gcc CPP gcc -E # 改为: CC arm-linux-gnueabihf-gcc CPP arm-l…

def iris_type(s);np.loadtxt;x, y = np.split;为什么进行切片;

目录 def iris_type(s): 字节字符串和字符串区别 data = np.loadtxt x, y = np.split 为什么进行切

【Flask】Flask中HTTP请求与接收

一、接收http请求与返回响应 在Flask中,可以通过app.route装饰器来定义路由函数。 app.route(/BringGoods,methods [POST, GET]) GET请求:使用request.args.get(key)或者request.values.get(key)来获取URL中的参数。 POST请求: 使用req…

SSH新功能揭秘:远程工作提升指南【AI写作】

首先,这篇文章是基于笔尖AI写作进行文章创作的,喜欢的宝子,也可以去体验下,解放双手,上班直接摸鱼~ 按照惯例,先介绍下这款笔尖AI写作,宝子也可以直接下滑跳过看正文~ 笔尖Ai写作:…