[论文精读]BrainLM: A foundation model for brain activity recordings

论文网址:pdf (openreview.net)

英文是纯手打的!论文原文的summarizing and paraphrasing。可能会出现难以避免的拼写错误和语法错误,若有发现欢迎评论指正!文章偏向于笔记,谨慎食用

目录

1. 省流版

1.1. 心得

1.2. 论文总结图

2. 论文逐段精读

2.1. Abstract

2.2. Introduction

2.3. Related work

2.4. Methods

2.4.1. Datasets and preprocessing

2.4.2. Model architecture & training procedure

2.4.3. Clinical variable prediction

2.5. Results

2.5.1. Model generalization

2.5.2. Prediction of clinical variables

2.5.3. Prediction of future brain states

2.5.4. Interpretability via attention analysis

2.5.5. Functional network prediction

2.6. Discussion

3. Reference


1. 省流版

1.1. 心得

(1)好简单的模型啊...

1.2. 论文总结图

2. 论文逐段精读

2.1. Abstract

        ①Model name: Brain Language Model (BrainLM)

        ②Recording: 6700 hours fMRI 

        ③Supervision method: self-supervised

        ④⭐Task: extracting functional connectivity (FC) without supervised network

2.2. Introduction

        ①⭐Previous work focus on specific and narrow task

        ②Plight: large amount unlabeled fMRI data

        ③Method of BrainLM: Transformer based

        ④Ability of BrainLM: prediction of future brain states, decoding cognitive variables, and discovery of functional networks

        ⑤Overview of BrainLM:

with 77298 samples and 6700 hours, they pretrained BrainLM by spatiotemporal masking and reconstruction

myriad  n. 无数,大量;(多用于古典历史剧中)一万  adj. 无数的,大量的

2.3. Related work

        作者觉得其他的要么太focus on specific task了要么就样本量太小,对于大语言模型的话其他工作也主要是再寻找brain recordings的表征相似性(我不知道为什么要找表征相似性我不是这个领域的

2.4. Methods

2.4.1. Datasets and preprocessing

        ①Datasets: the UK Biobank (UKB) with 76,296 rs-fMRI recordings and the Human Connectome Project (HCP) with 1002 fMRI data

        ②80% UKB data for training. 20% UKB data and all the HCP data for testing.

        ③Preprocessing: standard

        ④Atlas: AAL-424

2.4.2. Model architecture & training procedure

        ①Task: predict the original signal of masked patches

        ②BrainLM:

        ③Training: randomly select 200 time points in each fMRI data, and divide them into 10 sections with 20 time points each. Converting each section to vector with 512 dimension, masking them as 20%, 75%, and 90%(我猜测是N*10个section中随机mask20%,75%或者90%)

        ④Order of ROI: change the order of ROI to the real y-axis of the ROI in brain based order

        ⑤Model framework: constructed by 4 self-attention layers and 4 heads for training unmasked data, and 2-layer Transformer decoder for predicting masked and unmasked vectors

        ⑥Batch: 512

        ⑦Optimizer: Adam

        ⑧Epoch: 100

        ⑨Goal: minimizing the MSE of original signal and reconstructed signal(只比较Mask部分)

2.4.3. Clinical variable prediction

        ①Enchancement of prediction: adding 3-layer MLP head in encoder

        ②Regression task: age, neuroticism, PTSD, and anxiety disorder scores

        ③Approach: 

ageZ-score normalization
neuroticismmin-max scaling to [0, 1]
PTSD (PCL-5) and anxiety disorder (GAD-7) scoresdistributeb them exponentially by log transformation

        ④Dropout rate: 10% for encoder and MLP head

2.5. Results

2.5.1. Model generalization

        ①The reconstruction performance on UKB and HCP. The red lines denote predicted result and the black points are the real recording:

(HCP是拿来证明泛化能力的)

2.5.2. Prediction of clinical variables

        ①Reconstruction performance:

        ②Latent encoding learning:

        ③Performance table:

 delve  vi. 钻研;探究;挖  vt. 钻研;探究;挖  n. 穴;洞

2.5.3. Prediction of future brain states

        ①They applied 180 time steps to train and 20 following to test

        ②MSE on each time step:

2.5.4. Interpretability via attention analysis

        ①Mean attention socre on each ROI:

glean  vt. 收集(资料);拾(落穗)  vi. 收集;拾落穗

2.5.5. Functional network prediction

        ①7 subnetworks: visual, somatomotor, dorsal attention, ventral attention, limbic, frontoparietal, and default mode networks

        ②Region segmentation comparason table:

2.6. Discussion

        ①Predicting masked distribution

        ②Predicting mental disorders ()(把解码的数据送去卷积?还是直接就有结果啊?

        ③Recognizing FC(哪里?怎么感觉像脑区分割呢

3. Reference

Caro, J. O. et al. (2024) 'BrainLM: A foundation model for brain activity recordings', ICLR

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/44864.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

redis批量删除keys,用lua脚本。

文章目录 现象解决方法 现象 系统报错: misconf redis is configured to save ....后查看机器内存。 是内存满了,需要删除其中的key 解决方法 (1) 编写一个脚本,放在redis-cli.exe同一个目录 (2) 脚本内容如下: -- 使用Lua脚…

经典文献阅读之--Self-Supervised Bird’s Eye View Motion,,(基于跨模态信号的自监督鸟瞰图运动预测)

Tip: 如果你在进行深度学习、自动驾驶、模型推理、微调或AI绘画出图等任务,并且需要GPU资源,可以考虑使用UCloud云计算旗下的Compshare的GPU算力云平台。他们提供高性价比的4090 GPU,按时收费每卡2.6元,月卡只需要1.7元每小时&…

React@16.x(53)Redux@4.x(2)- action

目录 1,特点1.1,payload1.2,type1.3,bindActionCreators 1,特点 是一个平面对象(plain-object)。换句话说,就是通过字面量创建的对象,它的 __proto__ 指向 Object.proto…

window11连接lenovo 熊猫 Pro 打印机 M7328W

1、win11先下驱动(将USB线接至电脑、电源通电),型号在后背面插电源的地方可以找到。 图1 开始电源按钮,会有蓝、绿、红闪烁灯光循环显示。 下载驱动: 图像发现 M7328W 然后按照说明书安装即可。 2、安装完成后&…

Delta的最新更新可让iPad用户同时模拟多款游戏

Delta iOS 应用程序发布了一个更新,引入了复古 游戏模拟器重新设计的标识,以及原生 iPad 支持,允许用户同时玩多个 游戏。 据 Delta 开发者 Riley Testut 称,欧盟用户可以立即通过AltStore PAL 下载更新,但其他用户则需…

YOLO v8进行目标检测的遇到的bug小结

OSError: [WinError 1455] 页面文件太小,无法完成操作。 我的python环境是放在C盘的: 在“我的电脑”点击鼠标右键,打开“属性”点击高级系统设置点击“设置”找到“高级”点击“更改”分配“虚拟内存”(这里需要重启电脑才能生…

【机器学习】朴素贝叶斯算法详解与实战扩展

欢迎来到 破晓的历程的 博客 ⛺️不负时光,不负己✈️ 引言 朴素贝叶斯算法是一种基于概率统计的分类方法,它利用贝叶斯定理和特征条件独立假设来预测样本的类别。尽管其假设特征之间相互独立在现实中往往不成立,但朴素贝叶斯分类器因其计算…

dataset source

ObjectMapper objectMapper new ObjectMapper();JsonNode chartValueJson objectMapper.readTree(chartValue);// 获取dataset节点ArrayNode dataset (ArrayNode) chartValueJson.path("dataset");// 找到source节点并替换它for (JsonNode node : dataset) {if (n…

项目纪实 | 业务不停机、升级0感知!万里数据库生产环境助力操作系统升级 获客户点赞

为积极响应和落实国家、集团相关要求,某运营商省公司历时一个月将GreatDB数据库集群下Red Hat操作系统升级为BigCloud操作系统,以建立完善的IT自主可控体系,推动产业链生态发展。 源起:项目背景一览 2024年初,万里数…

基础架构服务API:降低成本,提升业务效益

基础架构服务API的应用可以显著降低企业的成本,并提升业务效益。通过使用这些API,企业可以充分利用云计算、自动化部署和资源管理等功能,从而减少了传统基础设施所需的大量投资和维护成本。这些API还提供了弹性扩展和自动化功能,使…

flutter常用库的介绍(1)

import dart:async; 是在Dart语言中用来引入Dart标准库中的 async 和 await 等异步编程相关的功能的声明。具体作用如下: 引入异步编程的功能: Dart中的 async 和 await 关键字用于编写异步代码,即可以处理非阻塞的操作,如等待I/O操作、定时器…

ABeam News | FY25 ABeam德硕大中华区入社式,飞往崭新航向!

FY25 ABeam大中华区入社式 7月1日,51名 ABeam大中华区新生在艾宾信息技术开发(上海)有限公司大连分公司(以下简称TDC)报到,我们为他们的到来准备了隆重的入社仪式,并举办了热情而又温馨的欢迎晚…

【OC】OC与MHA对比

MHA 简介 MHA(Master High Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就职于Facebook公司)开发,是一套优秀的作为MySQL高可用性环境下故障切换和主从提…

springboot美食分享平台-计算机毕业设计源码45429

基于Web美食分享平台的系统设计与实现 摘 要 本研究基于Spring Boot框架,设计并实现了一个Web美食分享平台,旨在为用户提供一个交流分享美食体验的社区平台。该平台涵盖了用户注册登录、美食制作方法分享发布、点赞评论互动等功能模块,致力于…

cdr捕捉点怎么设置---模大狮模型网

在 CorelDRAW 中,捕捉点(Snap Points)是一种非常有用的功能,它可以帮助你在绘制和编辑图形时对齐、定位和调整对象。以下是关于如何设置捕捉点的简要步骤: 打开和设置捕捉点: 打开捕捉点控制器: 在 CorelDRAW 的顶部菜…

C# 解析省份、城市、区域 json文件

一、json文件内容如下,(小程序里好像有用到...): 二、读取包含省份城市区域的json文件,并整理成想要的结果: string path Server.MapPath("/js"); string file System.IO.Path.Combine(path, "数据.…

JVM:SpringBoot TomcatEmbeddedWebappClassLoader

文章目录 一、介绍二、SpringBoot中TomcatEmbeddedWebappClassLoader与LaunchedURLClassLoader的关系 一、介绍 TomcatEmbeddedWebappClassLoader 是 Spring Boot 在其内嵌 Tomcat 容器中使用的一个类加载器(ClassLoader)。在 Spring Boot 应用中&#…

Python图形用户界面的文本文件加密工具

Python图形用户界面的文本文件加密工具 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-x5oEvdLE-1720676762602)(https://i-blog.csdnimg.cn/direct/ddf0cd975b2d48a9a2f3b35c55e00add.png)] 设计方案 DES.py DESAlgorithm 类负责管理密钥并提供…

电焰灶:烹饪性能的深度剖析

在如今众多的厨房炉灶选择中,华火电焰灶以其独特的技术和性能吸引了不少消费者的目光。那么,华火电焰灶的综合烹饪性能究竟如何呢?让我们一起来深入探究。 首先,从火力方面来看,华火电焰灶展现出了强大的优势。其火焰强…

systemctl命令,启动服务,停止服务,查看服务状态,设置开机自启。

systemctl 是用于与 systemd 初始化系统和服务管理器进行交互的命令行工具。systemd 是许多 Linux 发行版默认的系统和服务管理器&#xff0c;它负责启动和管理系统服务。 以下是一些常用的 systemctl 命令&#xff1a; 启动服务: sudo systemctl start <service_name> …