2024年7月23日~2024年7月29日周报

目录

一、前言

二、完成情况

2.1 一种具有边缘增强特点的医学图像分割网络

2.2 融合边缘增强注意力机制和 U-Net 网络的医学图像分割

2.3 遇到的困难

三、下周计划


一、前言

        上周参加了一些师兄师姐的论文讨论会议,并完成了初稿。

        本周继续修改论文,阅读了两篇医学图像分割方向的论文,学习他们的表达与创新点,并尝试复现。

二、完成情况

2.1 一种具有边缘增强特点的医学图像分割网络

        期刊:电子与信息学报 Journal of Electronics & Information Technology

        时间:2022年5月

        DOI:10.11999/JEIT210784

        痛点:传统医学图像分割缺失值大、边缘不清 晰、模型参数冗余等问题。

        解决方案(创新点):本文提出一种具有边缘增强特点的医学图像分割网络(AS-UNet)。利用掩膜边缘提取算法得到掩膜边缘图,在UNet扩张路径的最后3层引入结合多 尺度特征图的边缘注意模块(BAB),并提出组合损失函数来提高分割精度;测试时通过舍弃BAB来减少参数。

        具体实现如下:本文所提具有边缘增强特点的医学图像分割网络AS-UNet结构如图1所示。

图1 AS-UNet网络结构

        注意力模块:

        BAB的引入提高了模型的分割精度,但也不可避免地增加了网络参数,本文方法AS-UNet在测试时利用神经网络结构的冗余性进行模型精简,只需要选择模型的输出1,达到不增加网络参数的目的。

        本文所提BAB具有可迁移性,可应用于多种网络。

图2 BAB结构 

 图3 图像掩模与对应边缘图

         受空间通道压缩与激励(spatial-channel Sequeeze & Excitation, scSE) 注意力模块的启发, 本文提出一种新的注意力模块,具体结构如图4所示。对于输入特征图 U \in \Re ^{w \times h \times c} ,分别在通道和空间上进行压缩得到特征图 \hat{U}_{sCE} \in \Re ^{w \times h \times 1} 和向量 \hat{U}_{sCE} \in \Re ^{1 \times 1 \times c},两者相乘得到新的权重 W \in \Re ^{w \times h \times c} , 再将其与输入特征图 U 逐像素相乘得到最终输出 \hat{U} 。整个过程如下式所示:

\hat{U} = (\hat{U}_{sCE} \times \hat{U}_{cSE}) \odot U

        其中,\times 代表两图扩展维度后直接相乘,\odot 代表逐像素相乘。

        cSE和sCE顺着空间和通道维度分别进行特征压缩,将得到的特征权重向量分别加权到输入特征图上,完成不同维度上对原始特征的重标定。而 scSE的工作仅仅是将cSE和sCE的输出结果逐像素 相加,同时完成空间以及通道上的压缩与激励。

        本文所提出的注意力模块首先将空间和通道上压缩得到的特征图进行相乘,得到与输入相同大小的权重W,如此便可以为输入特征图的每个像素都提供各自的权重,且相乘能够让重要的位置更加突出, 而价值较小的位置则可以被抑制。随后再将这一权重与输入逐像素相乘得到最终输出。

        此方法相较于scSE同样简单且不增加任何参数,但能够更多地关注重要位置的信息,获取感兴趣区域及边缘特征信息。

        本文将其应用于边缘注意模块3×3的卷积层之后,帮助模型取得更好的分割效果。

图4 注意力模块

        思考:这篇文章提供了基于TensorFlow实现的代码,可以从中学习并复现为基于pytorch的代码。其中:

  • ①可以将这里面的注意力机制替换为其他注意力机制,然后将速度模型的边缘图像处理为相应层的图像大小,接着融合到代码中去;
  • ②可以将这个网络架构变为多任务学习的网络架构;

        部分复现情况如下:

2.2 融合边缘增强注意力机制和 U-Net 网络的医学图像分割

        期刊:医学学报 Journal Of Graphics 图像处理与计算机视觉

        时间:2022年4月

        DOI:10.11996/JG.j.2095-302X.2022020273

        痛点:现有方法不能充分利用特征位置信息;医学图像分割过程中,病灶特征的边缘像素点划分不准确,进而 导致边界模糊、图像分割效果不理想的问题。

        解决方案(创新点):本文提出一种边缘增强的注意力模块(CEA),分别进行水平和垂直 2 个不同方向的特征编码捕获位置信息,并通过计算位置特征和输入特征之间的偏移量加强边缘信息。

        优势:将该模块应用基于 U-Net 的医学图像分割网络中,可突破卷积核的空间限制,捕获具有位置感知的跨通道信息及更加明确的边缘轮廓信息,从而提高分割的准确性。

        具体实现如下:整体网络结构设计如图 1 所示,其中左半支为编码器阶段,进行下采样操作,提取目标的特征信息。右半支为解码器阶段,进行上采样操作完成特征信息的解码过程。在上采样过程中引入CEA,加强对特征位置信息利用的同时有效捕捉边界的轮廓信息,帮助网络提取到边缘信息更加明确的病灶特征,提高分割结果的准确性。

图1 整体网络架构

        在解码器网络中,CEA 的整体设计如图 2 所示,将经过上采样的每一层输入该模块。首先对 输入特征进行 2 个方向的特征编码,让其充分获取病灶的位置信息,并在此基础上加强边界差异, 最终输出的特征图包含丰富的位置感知和较强的边界轮廓,改善医学图像的最终分割效果。

        具体步骤实现包含五个步骤:

  • 步骤一:初始化。给定尺寸大小为 h×w 的输入特征 x,分别沿着水平方向和垂直方向进行平均池化操作,获得输入特征垂直结构和水平结构上的信息编码;
  • 步骤二:特征压缩。将 2 个方向的特征进行拼接操作后,送入卷积 F 中,得到 2 个方向空间信息的特征图;为加快模型的收敛速度并且提高对目标区域的关注度,对融合后的特征图进行非线性归一化操作;
  • 步骤三:特征激励。将融合后的特征划分为 2 个方向的特征向量,利用 1×1 的卷积得到激励后 的分方向特征,并通过 Sigmoid 函数将特征值映射为[0,1]之间的权重值;
  • 步骤四:计算加权特征图。计算加权特征图。通过矩阵相乘操作, 综合水平垂直方向权重信息,获得空间中每一个位置的权重;将其作用于原始图像中,以获得空间加权后特征注意力;
  • 步骤五:计算边缘特征图。计算边缘增强特征。为捕捉差异、加强边缘特征信息,进一步地计算原始特征图 x 和加权特征注意力图 y 之间的差值,得到边界偏移量。

 图2 边缘增强注意力模块

      疑问:在这篇文章中,我有理解为什么整体网络架构中出现了 TSCA 多尺度上下文细节感知提取模块,但是后续没有介绍该模块的相关内容。然后,我进行搜索也没有查询到。

2.3 遇到的困难

       ① 报错提示:在计算InversionNet参数量的时候突然出现下述报错,在之前可以正常运行并计算,疑惑......

        百度提示可以查看torch的版本号是否为最新版本、检查代码书写情况等,但是并没有解决这个问题。

  • x = F.pad(x, [-5, -5, -5, -5], mode="constant", value=0) # (None, 32, 70, 70) 125, 100 TypeError: pad() got an unexpected keyword argument 'mode'

       ②报错提示:py文件忘记声明使用的编码方式。

        因此,为了解决这个问题,需要在文件的第一行添加注释,声明正确的编码方式:

  • SyntaxError: Non-UTF-8 code starting with '\xcf' in file D:/Wang-Yumei/TU_Net/test.py on line 119, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details
# -*- coding: utf-8 -*-

三、下周计划

  1. 总结当前全波形反演的相关文献,并分类;
  2. 思考组会内容;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/51684.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vivado LOC

LOC LOC指定逻辑单元对目标SITE资源的放置分配 Xilinx部分。 LOC属性或约束有时与BEL属性一起使用,以定义精确的 将细胞放置在设备内。在这些情况下,必须定义BEL约束 否则将发生放置错误。 提示:要将I/O端口分配给设备包上的物理引脚&#xf…

大语言模型系列——Transformer 介绍与使用

引言 自从 Google 在 2017 年发表了一篇题为《Attention Is All You Need》的论文以来,Transformer 已经成为了自然语言处理领域的一个重要里程碑。与传统的 RNN 和 LSTM 不同,Transformer 通过自注意力机制(Self-Attention Mechanism&#…

使用eclipse在新建的java项目中编辑xml文件时Unhandled event loop exception No more handles

处理方法:更换xml编辑器 Window ——》Preferences ——》General ——》Editors ——》File Associations 如果File types里面没有*.xml,则点击Add进行新增 选中*.xml,然后在Associated editors 选中想用的编辑器,设置为defaul…

Selenium---Xpath选择器

XPath (XML Path Language) 是由国际标准化组织W3C指定的,用来在 XML 和 HTML 文档中选择节点的语言。 xpath 语法中,整个HTML文档根节点用/表示,如果我们想选择的是根节点下面的html节点,则可以在搜索框输入 /html如果输入下面…

vpp中的不同节点的数据传输,使用vpp中的回调函数,相同的原理也可以实现,不同节点的函数的调用

vpp中的不同节点的数据传输,使用vpp中的回调函数,相同的原理也可以实现,不同节点的函数的调用 1.实现数据传输所需要用到的函数2.具体实现 1.实现数据传输所需要用到的函数 需要用到的一个宏__clib_export 作用:就是将这后边的…

小白也能读懂的ConvLSTM!(开源pytorch代码)

ConvLSTM 1. 算法简介与应用场景2. 算法原理2.1 LSTM基础2.2 ConvLSTM原理2.2.1 ConvLSTM的结构2.2.2 卷积操作的优点 2.3 LSTM与ConvLSTM的对比分析2.4 ConvLSTM的应用 3. PyTorch代码参考文献 仅需要网络源码的可以直接跳到末尾即可 1. 算法简介与应用场景 ConvLSTM&#x…

app-routing.module.ts 简单介绍

Angular的路由是一种功能,它允许应用程序响应不同的URL路径或参数并根据这些路径加载不同的组件。app-routing.module.ts是Angular项目中负责设置应用程序路由的文件。 以下是一个简单的app-routing.module.ts文件示例,它配置了三个路由: i…

SAPUI5基础知识22 - 图标(Icons)

1. 背景 SAPUI5 提供了一套丰富的图标库,可以用于增强应用程序的视觉吸引力和用户体验。这些图标是矢量图形,可以在任何分辨率下保持清晰,并且可以自定义颜色和大小。 2. 示例 在 SAPUI5 中,图标可以通过 sap.ui.core.Icon 控件…

Redis快速入门基础

Redis入门 Redis是一个基于内存的 key-value 结构数据库。mysql是二维表的接口数据库 优点: 基于内存存储,读写性能高 适合存储热点数据(热点商品、资讯、新闻) 企业应用广泛 官网:https://redis.io 中文网:https://www.redis.net.cn/ Redis下载与…

Spring缓存注解

Spring缓存注解 EnableCaching | 来启动缓存注解Cached | 用来表示某一个方法的结果可以被缓存 Cached(name “testCache:id1:”, key “#testId”, cacheType CacheType.REMOTE, localLimit CustomerConstants.DEFAULT_LIMIT, expire 1800)方法方法上。 #相关参数&#…

The Llama 3 Herd of Models 第6部分推理部分全文

第1,2,3部分 介绍,概览和预训练 第4部分 后训练 第5部分 结果 6 Inference 推理 我们研究了两种主要技术来提高Llama 3405b模型的推理效率:(1)管道并行化和(2)FP8量化。我们已经公开发布了FP8量化的实现。 6.1 Pipeline Parallelism 管道并行 当使用BF16数字表示模型参数时…

家具购物小程序的设计

管理员账户功能包括:系统首页,个人中心,用户管理,家具分类管理,家具新品管理,订单管理,系统管理 微信端账号功能包括:系统首页,家具新品,家具公告&#xff0…

【开发学习笔记】git的工作区与分支

Git是一款分布式版本控制系统,被广泛应用于软件开发中,用于跟踪和管理项目的源代码。在Git中,工作区与分支是两个核心概念,它们在Git的工作流程中扮演着不同的角色。 工作区的概念 工作区(Working Directory&#xf…

Linux网络——深入理解传入层协议TCP

目录 一、前导知识 1.1 TCP协议段格式 1.2 TCP全双工本质 二、三次握手 2.1 标记位 2.2 三次握手 2.3 捎带应答 2.4 标记位 RST 三、四次挥手 3.1 标记位 FIN 四、确认应答(ACK)机制 五、超时重传机制 六 TCP 流量控制 6.1 16位窗口大小 6.2 标记位 PSH 6.3 标记…

YOLOv5改进 | 卷积模块 | 无卷积步长用于低分辨率图像和小物体的新 CNN 模块SPD-Conv

秋招面试专栏推荐 :深度学习算法工程师面试问题总结【百面算法工程师】——点击即可跳转 💡💡💡本专栏所有程序均经过测试,可成功执行💡💡💡 专栏目录: 《YOLOv5入门 改…

[ WARN:0@0.014] global loadsave.cpp:248 cv::findDecoder imread_

[ WARN:00.014] global loadsave.cpp:248 cv::findDecoder imread_ 目录 [ WARN:00.014] global loadsave.cpp:248 cv::findDecoder imread_ 【常见模块错误】 【解决方案】 欢迎来到英杰社区https://bbs.csdn.net/topics/617804998 欢迎来到我的主页,我是博主英杰…

20240729 每日AI必读资讯

Meta科学家最新采访,揭秘Llama 3.1是如何炼成的 - Llama 3.1都使用了哪些数据?其中有多少合成数据?为什么不使用MoE架构?后训练与RLHF流程是如何进行的?模型评估是如何进行的? - 受访者Thomas Scialom现任…

ReactHooks(二)

上期在这~ ReactHooks【二】 一.useReducer1.1 useReducer 的语法格式1.2 定义组件的基础结构1.3 定义 useReducer 的基础结构1.3.1按需导入 useReducer 函数1.3.2定义初始数据1.3.3 定义 reducer 函数根据旧状态,进行一系列处理,最终返回新状态&#x…

Go语言教程(一看就会)

全篇文章 7000 字左右, 建议阅读时长 1h 以上。 Go语言是一门开源的编程语言,目的在于降低构建简单、可靠、高效软件的门槛。Go平衡了底层系统语言的能力,以及在现代语言中所见到的高级特性。它是快速的、静态类型编译语言。 第一个GO程序…

嵌入式人工智能(32-基于树莓派4B的旋转编码器-EnCoder11)

1、旋转编码器 旋转编码器是一种输入设备,通常用于测量和控制旋转运动。它由一个旋转轴和一系列编码器组成。旋转编码器可以根据旋转轴的位置和方向来测量旋转角度,并将其转化为电子信号输出。 旋转编码器通常分为两种类型:绝对值编码器和增…