周报(20240128)

日期:2024.1.22 - 2024.1.28

本周工作:

1. 阅读论文

本周阅读了以下论文:
BRAU-Net:用于医学图像分割的U形混合CNN-Transformer网络

在这里插入图片描述

背景

精确的医学图像分割对于临床量化、疾病诊断、治疗计划和许多其他应用至关重要。基于卷积和基于Transformer的u形结构在各种医学图像分割任务中都取得了显著的成功。前者可以有效地学习图像的局部信息,同时需要卷积运算所固有的更多特定于图像的归纳偏差。后者可以使用自注意在不同的特征尺度上有效地捕捉长程依赖性,而随着序列长度的增加,它通常会遇到二次计算和内存需求的挑战。为了解决这个问题,通过将这两种范式的优点集成到设计良好的u形架构中,本论文提出了一种混合但有效的CNN-Transformer网络,称为BRAU-Net,用于精确的医学图像分割任务。

主要内容

研究目的:这篇论文介绍了一种新的用于医学影像分割的网络架构BRAU-Net++。该架构旨在有效处理医学图像,以助力临床量化、疾病诊断和治疗规划等重要任务。

概述

  1. 架构:BRAU-Net++是一种将卷积神经网络(CNN)和Transformer技术结合在U型结构中的混合网络。这种设计利用了CNN在学习局部图像信息方面的优势,以及Transformer在捕捉长距离依赖关系方面的优势。

  2. 贡献

    • 介绍了一种u形混合CNN Transformer网络,该网络以双层路由注意力为核心构建块来设计编码器-解码器结构,其中编码器和解码器都是分层构建的,以便在降低计算复杂度的同时有效地学习局部全局语义信息。
    • 利用通道空间注意机制重新设计了传统的跳跃连接,并提出了具有通道空间注意的跳跃连接(SCCSA),旨在增强通道和空间两个方面的跨维度交互,补偿下采样造成的空间信息损失。
    • 三个常用的数据集上验证了BRAU-Net的有效性:Synapse多器官分割、ISIC-2018挑战和CVC ClinicDB数据集。因此,在几乎所有的评估指标下,所提出的BRAUNet都比其他最先进的(SOTA)方法表现出更好的性能。
  3. 创新点

    • 双层路由注意力:BRAU-Net++的核心组件之一是其U型编码器-解码器结构中使用的双层路由注意力。这个特性使网络能够有效地学习全局语义信息,同时控制计算复杂度。
    • 重新设计的跳跃连接:网络在其跳跃连接中加入了通道-空间注意力,使用卷积操作。这种方法旨在最小化局部空间信息的损失,并增强多尺度特征在不同维度间的交互。
  4. 性能

    • 论文报告了在三个公共基准数据集上进行的广泛实验的印象深刻结果。值得注意的是,BRAU-Net++在几乎所有评估指标上都超越了其他最先进的方法,包括其前身BRAU-Net。
    • 网络在Dice相似系数(DSC)和平均交并比(mIoU)等多个数据集上都取得了高分,显示出其在医学图像分割任务中的有效性。
  5. 应用:提出的网络在推动医学图像分割方面具有重要潜力,这是疾病诊断和治疗规划等多种临床应用中不可或缺的一步。

这种详细且创新的方法在BRAU-Net++中体现出医学图像处理领域的重大进步,利用了CNN和Transformer的结合优势,提高了图像分割任务的准确性和效率。

方法

整体框架
  1. BRAU-Net++包括编码器、解码器、瓶颈和SCCSA模块。
  2. 编码器,给定大小为H×W×3的输入医学图像,将医学图像分割为重叠的块,并通过块嵌入将每个块的特征维数投影到任意维数(定义为C)。变换后的补丁令牌通过多个BiFormer块和补丁合并层来生成层次特征表示。具体来说,补丁合并用于降低特征图的分辨率和增加维度,而BiFormer块用于学习特征表示。对于瓶颈,特征图的分辨率和维度保持不变。
  3. 解码器,设计了一种基于对称变换器的解码器,该解码器由BiFormer块和补丁扩展层组成。补片扩展层负责上采样和降维。通过SCCSA模块将提取的上下文特征与编码器的多尺度特征融合,以弥补下采样造成的空间信息损失,并放大全局维度的相互作用。最后一个补丁扩展层用于4×上采样,以恢复特征图的原始分辨率H×W,然后使用线性投影层生成像素级分割预测。
    在这里插入图片描述
编码器

BiFormer模块:
在这里插入图片描述

编码器是通过使用三级金字塔结构来分层构造的;
在阶段1中,由两个3×3卷积层组成的补丁嵌入层;
在阶段1-3中,使用具有3×3卷积层的补丁合并层来降低输入空间分辨率,同时增加通道数量;
在阶段1中,将分辨率为H/4×W/4和C通道的标记化输入馈送到两个连续的BiFormer块中,以执行表示学习;
阶段2-3中的标记化输入也以类似的方式执行;
补丁合并层执行2×下采样以将标记数量减少一半,并将特征维数增加2×。

解码器

与编码器类似,解码器也是基于BiFormer块构建的。
采用了补丁扩展层对解码器中提取的深层特征进行上采样。
补丁扩展层主要用于将特征图重塑为更高分辨率的特征图,即将分辨率提高2×,并将特征维数降低一半。
最后一个补丁扩展层执行4×上采样以输出分辨率为H×W的特征图,用于预测像素级分割。

跳跃连接(Skip Connection Channel-Spatial Attention )SCCSA

在这里插入图片描述

与使用单一注意力机制相比,通道和空间注意力的结合可以增强模型捕捉更广泛上下文特征的能力。
提出了一种跳跃连接通道空间注意力,简称SCCSA。
SCCSA模块可以有效补偿下采样造成的空间信息损失,增强解码器每层多尺度特征的全局维度交互,从而在生成输出掩码的同时恢复细粒度细节。
SCCSA模块包括通道注意力子模块和空间注意力子模块。
首先通过级联编码器和解码器的输出,导出 F 1 ϵ R h × w × 2 n F1\epsilon R^{h\times w\times 2n} F1ϵRh×w×2n
然后,通道注意力子模块使用多层感知器(MLP)的编码器-解码器结构放大跨维度信道空间相关性,其缩减率为e=4。使用两个7×7卷积层来关注来自通道注意力子模块的具有相同缩减率e的空间信息。给定输入特征图 x 1 , x 2 ϵ R h × w × n x_{1}, x_{2}\epsilon R^{h\times w\times n} x1,x2ϵRh×w×n
中间状态F1,F2,F3,然后输出x3定义为:
在这里插入图片描述
其中F2和F3分别是通道和空间注意力子模块的输出;⊗和σ分别表示元素乘法和sigmoid激活函数。

算法训练流程
  1. 算法接收两个输入:一组图像 S 和一组对应的掩码 T,目标是训练模型参数。

  2. 对于每个批次中的图像 xi,执行以下步骤:

    a. Patch Embedding:将输入图像 xi 分解成小块(patches),并将它们转换成嵌入(embedding),这是一个向量表示。

    b. 进行多个阶段(num_stage)的处理,每个阶段包含多个块(num_stage_block),对于每个块执行以下操作:

    • 加入位置嵌入 pos_embed,这有助于网络理解图像中各个部分的位置信息。
    • 应用BRA(可能是某种注意力机制或块重复的处理)和MLP(多层感知机)来提取特征和进行非线性转换。

    c. Patch Merging:在每个阶段结束时,合并小块以减少维度,增加每个小块的信息内容。

  3. 在经过初始阶段后,进行反向阶段(num_stage - 2-1)的处理,这可能是一个解码或上采样过程,包括:

    a. Patch Expanding:与 Patch Merging 相反,它增加了特征的维度,恢复了一些分辨率。
    b. Concat:将扩展的特征与之前的某个阶段的输出进行拼接。
    c. 应用SCSA(这可能是另一种特殊的注意力机制或特征选择步骤)。

  4. 在所有阶段处理完成后,执行最终的 Patch Expanding 以进一步提高特征的分辨率。

  5. 应用 Linear Projection 来产生输出 yi,这可能是一个分类、分割或其他类型的预测。

  6. 计算损失函数 L,结合了 LdiceLce 两种损失,这通常是在图像分割任务中用于比较预测掩码和真实掩码之间的相似性。

  7. 使用梯度反向传播算法更新模型参数。

整体来看,这个算法是一个多阶段的特征提取和转换网络,用于图像处理任务,可能是图像分割。通过在多个尺度上处理图像特征,并通过损失函数优化来学习复杂的表示。

在这里插入图片描述

实验结果

在这里插入图片描述
在这里插入图片描述

消融实验

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

结论

本论文提出了一种精心设计的U形混合CNN转换器架构BRAU-Net++,它利用动态稀疏注意力而不是全注意力或静态手工制作的稀疏注意力,可以有效地学习局部全局语义信息,同时降低计算复杂度。本文提出了一个新的模块:跳跃连接通道空间注意力(SCCSA)来整合多尺度特征,以补偿空间信息的损失,增强跨维度的交互作用。实验结果表明,在Synapse多器官分割、ISIC-2018 Challenge和CVCClinicDB数据集的几乎所有评估指标下,本论文提出的方法都能实现SOTA性能,尤其擅长捕捉小目标的特征。

个人感悟

本文介绍了一种先进的分割模型,该模型集成了CNN和transformer架构的优势,用于医学成像。

BRAU-Net++使用双级路由注意机制,并包括一个重新设计的跳跃连接通道-空间注意(SCCSA)来解决下采样空间信息丢失问题。该模型旨在有效地捕获局部和全局信息,在保持计算效率的同时提高分割精度。

作者已经在几个基准数据集上测试了他们的模型,显示出比以前最先进的方法更有希望的结果。他们强调在医学图像中准确分割的精细细节和全局背景之间的平衡,这对诊断和治疗计划至关重要。

本文对提高医学图像分析的认识和能力具有重要意义。然而,可能还有改进的空间,例如进一步优化模型的计算效率,探索其可转移到其他类型的医学成像数据,或研究模型在有限数据或无监督学习场景下的表现。这些潜在的改进可以使模型更加通用,并适用于各种现实世界的临床环境。

2. 学习内容

双层路由注意(Bi-Level Routing Attention)

双重路由注意力(Dual-Path Routing Attention)是一种用于增强神经网络模型性能的注意力机制。这个注意力机制的目标是在处理序列数据或图数据时,有效地捕捉不同级别的信息交互,以提高模型的性能。它在处理序列或图像时采用双层结构。这种机制通常涉及到两个层次的注意力分配:在较低的层次上,模型专注于局部特征或序列的细节;在较高的层次上,模型则把注意力放在全局上下文或更广泛的序列特征上。这样,模型可以同时捕捉到细节信息和全局信息,从而提高处理复杂数据时的性能。在医学图像分割中,这种机制有助于精准定位和区分不同的解剖结构或病理特征。

  1. 背景:
    在深度学习中,序列数据或图数据通常需要考虑不同层级或不同分辨率的信息交互,以更好地理解和表示数据。传统的注意力机制通常依赖于一个注意力矩阵,该矩阵用于计算输入的加权和,但它们有时会限制模型的能力,特别是当需要处理多层次的信息时。

  2. 双重路由注意力的思想:
    双重路由注意力引入了两个不同的路径(或通道)来处理输入数据,分别称为“通道注意力”和“空间注意力”。这两个路径允许模型在不同的维度上学习如何关注数据。

    • 通道注意力:通道注意力关注输入数据的不同通道或特征维度。它的目标是确定哪些特征通道对当前任务更重要,以便更好地表示数据。通道注意力的计算通常涉及计算特征通道之间的相关性或重要性权重。

    • 空间注意力:空间注意力关注输入数据的不同位置或空间维度。它的目标是确定哪些位置或区域在当前任务中更重要。空间注意力的计算通常涉及计算不同位置之间的相关性或重要性权重。

  3. 计算过程:
    双重路由注意力的计算过程如下:

    a. 通道注意力计算:首先,通过对输入数据的通道维度进行操作,计算出通道注意力权重。这可以使用不同的机制,例如全局平均池化或1x1卷积等。

    b. 空间注意力计算:接下来,通过对输入数据的空间维度进行操作,计算出空间注意力权重。这可以使用卷积操作或其他空间操作来实现。

    c. 融合路径:最后,将通道注意力和空间注意力权重相乘,然后将它们应用于原始输入数据,以生成最终的注意力增强表示。这可以通过加权和的方式来实现。

  4. 应用领域:
    双重路由注意力可以应用于多个领域,如自然语言处理、计算机视觉和图神经网络。它可以帮助模型更好地理解和表示数据,从而提高性能。

总的来说,双重路由注意力是一种强大的注意力机制,它通过引入两个不同的关注路径,允许模型在通道和空间维度上更好地捕捉信息交互,从而提高模型在各种任务中的性能。这种注意力机制的应用可以根据具体任务和数据类型进行定制。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/653809.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Linux】CentOS 7 安装配置Python

目录 一、简介 二、下载与安装 1、更新软件包 2、安装编译所依赖的环境 3、下载压缩包 4、解压 5、配置编译参数 6、编译和安装 7、查看python版本 8、创建软连接 9、pip换源(清华源为例)、更新 一、简介 Linux系统一般都自带python&#xff…

Linux实验记录:使用LVM(逻辑卷管理器)

前言: 本文是一篇关于Linux系统初学者的实验记录。 参考书籍:《Linux就该这么学》 实验环境: VmwareWorkStation 17——虚拟机软件 RedHatEnterpriseLinux[RHEL]8——红帽操作系统 备注: 硬盘分好区或者部署为RAID磁盘阵列…

Python根据Excel表进行文件重命名

一、问题背景 在日常办公过程中,批量重命名是经常使用的操作。之前我们已经进行了初步探索,主要是通过批处理文件、renamer软件或者Python中的pathlib等模块对当前目录下的文件进行批量重命名。 而今天我们要使用的是PythonExcel的方法对指定目录下的文…

MySQL:三大日志(binlog、redolog、undolog)

再了解三个日志前我们先了解一下MySQL的两层架构: Server 层负责建立连接、分析和执行 SQL。MySQL 大多数的核心功能模块都在这实现,主要包括连接器,查询缓存、解析器、预处理器、优化器、执行器等。另外,所有的内置函数和所有跨…

Unity读书系列《Unity3D游戏开发》——拓展编辑器(一)

文章目录 前言一、扩展Project视图1、右键扩展菜单(Asset)2、监听事件3、拓展布局 二、扩展Hierarchy视图1、拓展菜单(GameObject)2、拓展布局3、重写菜单 三、扩展Inspector视图1、扩展原生组件2、扩展继承组件 四、扩展Scene视图…

【每日一题】5.LeetCode——环形链表

📚博客主页:爱敲代码的小杨. ✨专栏:《Java SE语法》 ❤️感谢大家点赞👍🏻收藏⭐评论✍🏻,您的三连就是我持续更新的动力❤️ 🙏小杨水平有限,欢迎各位大佬指点&…

【智能家居入门之环境信息监测】(STM32、ONENET云平台、微信小程序、HTTP协议)

作为入门本篇只实现微信小程序接收下位机上传的数据,之后会持续发布如下项目:①可以实现微信小程序控制下位机动作,真正意义上的智能家居;②将网络通讯协议换成MQTT协议再实现上述功能,此时的服务器也不再是ONENET&…

【动态规划】【字符串】【行程码】1531. 压缩字符串

作者推荐 视频算法专题 本文涉及知识点 动态规划汇总 LeetCode 1531. 压缩字符串 II 行程长度编码 是一种常用的字符串压缩方法,它将连续的相同字符(重复 2 次或更多次)替换为字符和表示字符计数的数字(行程长度)…

MyBatis详解(6)-- 分页及缓存

MyBatis详解(6) 分页缓存特点:限制:术语:加载分类立即加载:延迟加载:mybatis缓存: 缓存的适用性MyBatis 缓存分类一级缓存注意:一级缓存未命中二级缓存二级缓存的优劣自定…

qq通讯录怎么关闭?QQ好友删除了怎么恢复?

在QQ中,通讯录是我们管理好友和进行聊天的重要工具,但有时候我们可能需要一些隐私保护,不让一些用户通过手机通讯录添加自己。如果您正在思考qq通讯录怎么关闭以及恢复意外删除的好友,本文将为您详细介绍如何关闭QQ通讯录和恢复被…

php实现多进程的几种方式

目录 一:使用pcntl扩展库 二:使用Swoole扩展 三:使用多进程模式PHP-FPM 在PHP中实现多进程主要有以下几种方式: 一:使用pcntl扩展库 pcntl扩展库提供了多线程相关的函数,如pcntl_fork()用于创建子进程…

详解操作系统各章大题汇总(死锁资源分配+银行家+进程的PV操作+实时调度+逻辑地址->物理地址+页面置换算法+磁盘调度算法)

文章目录 第三章:死锁资源分配图例一例二 第三章:银行家算法第四章:进程的同步与互斥做题步骤PV操作的代码小心容易和读者写者混 1.交通问题(类似读者写者)分析代码 2.缓冲区问题(第二个缓冲区是复制缓冲区…

RK3568驱动指南|驱动基础进阶篇-进阶6 内核运行ko文件实验——系统调用

瑞芯微RK3568芯片是一款定位中高端的通用型SOC,采用22nm制程工艺,搭载一颗四核Cortex-A55处理器和Mali G52 2EE 图形处理器。RK3568 支持4K 解码和 1080P 编码,支持SATA/PCIE/USB3.0 外围接口。RK3568内置独立NPU,可用于轻量级人工…

Idea编写mapper.xml文件提示表名和字段

一、连接database 二、setting- > language -> sql Dialects中 的选项设为 mysql就可以了 三、测试

从零开始做题:逆向 ret2shellcode orw

1.题目信息 BUUCTF在线评测 下载orw时防病毒要关闭 2.题目分析 orw是open、read、write的简写。有时候binary会通过prctl、seccomp进行沙箱保护,并不能getshell。只能通过orw的方式拿到flag。 fdopen(‘./flag’); # 打开flag文件,得到fd…

Android MTE技术详解

1.MTE概念 MTE(内存标记扩展)是ARM v8.5-A新增的一项缓解内存安全的机制。在Android Linux现有的安全机制中,类似的机制有ASAN、HWSAN。但两者因为性能开销代价高昂,不适用于广泛部署(仅调试使用)。MTE当前…

语义分割 | 基于 VGG16 预训练网络和 Segnet 架构实现迁移学习

Hi,大家好,我是源于花海。本文主要使用数据标注工具 Labelme 对猫(cat)和狗(dog)这两种训练样本进行标注,使用预训练模型 VGG16 作为卷积基,并在其之上添加了全连接层。基于标注样本…

【算法专题】动态规划综合篇

动态规划7.0 1. 最长公共子序列2. 不相交的线3. 不同的子序列4. 通配符匹配5. 正则表达式匹配6. 交错字符串7. 两个字符串的最小ASCII删除和8. 最长重复子数组 1. 最长公共子序列 题目链接 -> Leetcode -1143.最长公共子序列 Leetcode -1143.最长公共子序列 题目&#xf…

单张图像三维重建RealFusion 360◦ Reconstruction of Any Object from a Single Image

Luke Melas-Kyriazi, Iro Laina, Christian Rupprecht, Andrea Vedaldi.RealFusion 360◦ Reconstruction of Any Object from a Single Image。RealFusion: 360 Reconstruction of Any Object from a Single Image Abstract We consider th…

升降机SEW MOVIDRIVE变频器设置

SEW变频器Startup 安装好MOVITOOL软件 打开项目开始配置通信连接 以太网连接为例 在此栏输入需要连接的SEW变频器的IP地址,例如:172.25.20.120 设置完成单击“OK” 当设置完成后,请一路OK回到软件管理画面 通信配置正确的软件界面状态 单击红色刷新图标 一切准备就绪后…