基于GAN的多尺度门合并多模态MRI图像合成

Multi-Modal MRI Image Synthesis via GAN With Multi-Scale Gate Mergence

  • 基于GAN的多尺度门合并多模态MRI图像合成
    • 背景
    • 贡献
    • 实验
    • 方法
      • 生成器
      • gate mergence (GM) strategy(门控融合策略)
      • 判别器
    • 损失函数
    • Thinking

基于GAN的多尺度门合并多模态MRI图像合成

IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, VOL. 26, NO. 1, JANUARY 2022

背景

多模式磁共振成像(MRI)在当今临床诊断和治疗中起着至关重要的作用。MRI的每种模式都有其自己的特定解剖特征,这些特征作为其他模式的补充信息,可以提供丰富的诊断信息。然而,由于时间和成本的限制,患者的一些图像序列可能会丢失或损坏,这对准确诊断构成了障碍。尽管目前的多模态图像合成方法能够在一定程度上缓解这些问题,但它们还远远不能有效地融合模态。

贡献

  1. 考虑到不同模态在每个尺度上的特征的特异性及其对目标模态合成的不同贡献,我们的方法在每个下采样层应用融合模块,通过组合来自同一尺度的特征补充来自可用模态的更多相关信息
  2. 我们引入了一种门合并(GM)策略,以在每个尺度上对来自不同编码器的模态特征进行融合,而不是使用传统的简单和硬的融合策略。通过自学习矩阵,网络可以跨位置适当地调整每个模态的权重,以合并对目标合成更有用的补充信息。
  3. 在公共BRATS2015数据集上进行评估后,我们的MGM-GAN相对于几种多模态合成方法取得了最先进的性能。

实验

BraTs 2015
在这里插入图片描述
在这里插入图片描述
Add、Conv-cat、Cat-conv、GM的消融实验

方法

从两个源模态合成目标模态为例,生成器将模态1和模态2都作为输入,通过多尺度的卷积块和融合模块生成逼真的合成目标模态。之后,以源输入和真实或合成目标模态作为输入组,鉴别器打算将伪组与真实组区分开来
在这里插入图片描述

生成器

有多种模态作为输入进行处理。如前所述,不同模态的固有特征信息是独特的。为了保持这种特异性,有必要将每个模态逐一对应于一个独立的编码器,而不是简单地将它们堆叠作为输入

在这里插入图片描述

gate mergence (GM) strategy(门控融合策略)

引入了门合并(GM)策略作为主要的集成机制,该策略能够针对不同模态的特征学习自动权重矩阵,从而增强相关信号并抑制噪声
在这里插入图片描述

判别器

鉴别器包含多个卷积块,每个卷积块使用4×4kernel stride=2。第一层生成64个特征图,每个后续层的特征图数量将增加一倍。在最后一层,应用S形激活来确定输入是真实图像组还是合成组。

损失函数

对抗损失、一致性损失、图像梯度差分损失(GDL)函数
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Thinking

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/186525.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深入了解接口测试:揭秘网络分层和数据处理!

网络分层和数据 上一小节中介绍了接口测试中一些必要重要的定义,这一节我们来讨论一下在学习接口测试过程中我们要关注的最重要的东西:网络分层和数据。 首先,我们来尝试理解一下,为什么网络是要分层的呢? 我们可以…

PP生产模式和计划策略

以前的笔记,现在回头看看还挺全面的。 1.1 生产模式和计划策略 不同的生产模式对应着不同的计划策略 ,SAP中通过定义不同的计划策略组(Planning strategy Group),确定计划策略、需求类型以及相对应的需求…

python文件读取

相对路径 读文件 打印txt文件 fopen(".\data.txt","r",encoding"utf-8") contentf.read() print(content) f.close()with open(".\data.txt","r",encoding"utf-8") as f:contentf.read()print(content)contentf…

Ilya Sutskever:师从Hinton,“驱逐”奥特曼,一个改变AI世界的天才科学

ChatGPT 已经在全球爆火,但大众在两周之前似乎更熟悉Sam Altman,而对另一位创始人 Ilya Sutskever 却了解不多。 直到前几天因为OpenA眼花缭乱的政权争夺大戏,OpenAI 的首席科学家Ilya Sutskever的名字逐渐被世人所知。 Ilya Sutskever在科…

深入了解 Python 集合:操作、实现原理与应用场景

基本概念 在Python中,集合(Set)是一种无序、可变且不包含重复元素的数据结构。集合的创建使用花括号 {} 或者 set() 构造函数。例如: my_set {1, 2, 3}集合中的元素是唯一的,这意味着无论你添加多少次同一个元素&…

STM32 CUBEIDE Outline is disabled due to scalability mode

项目场景: 问题描述 Outline is disabled due to scalability mode 看不到函数 解决方案:

继承中的析构函数的权限的深入了解

如果一个父类中的析构函数如果设置为 private 权限 ,一个子类public继承了这个父类,那么 这个父类可以创建对象吗? 答案是 不可以 看看下面的代码 class A { public:private:~A() {} };class B :public A {A a; // 这个地方编译不报错&…

【CAN通信】CanIf模块详细介绍

目录 1.内容简介 2.CanIf详细设计 2.1 CanIf功能简介 2.2 一些关键概念 2.3依赖的上下层模块 2.4 功能详细设计 2.4.1 Hardware object handles 2.4.2 Static L-PDUs 2.4.3 Dynamic L-PDUs 2.4.4 Dynamic Transmit L-PDUs 2.4.5 Dynamic receive L-PDUs 2.4.6Physi…

PostGIS学习教程八:空间关系

PostGIS学习教程八:空间关系 到目前为止,我们只使用了测量(ST_Area、ST_Length)、序列化(ST_GeomFromText)或者反序列化(ST_AsGML)几何图形(geometry)的空间…

利用 Golang 中的 Recover 处理错误

关注公众号【爱发白日梦的后端】分享技术干货、读书笔记、开源项目、实战经验、高效开发工具等,您的关注将是我的更新动力! Golang 中的 recover 是一个鲜为人知但非常有趣和强大的功能。让我们看看它是如何工作的,以及在 Outreach.io 中如何…

I Hate Non-integer Number,(线性dp,计数类)

D - I Hate Non-integer Number (atcoder.jp) Problem Statement You are given a sequence of positive integers A(a1​,…,aN​) of length N. There are (2N−1) ways to choose one or more terms of A. How many of them have an integer-valued average? Find the co…

【MATLAB】异常数据识别

基于分位数的异常点识别 首先,给定了一个原始数据序列x。然后,计算了序列x的上四分位数和下四分位数,并根据这两个值计算了异常点的阈值。上四分位数减去1.5倍的四分位数范围得到异常值下界,下四分位数加上1.5倍的四分位数范围得…

运行新vue3项目

一,下载node并安装 官网:https://nodejs.org/en/ 查看版本: node -v二,cd进入到vue3项目目录 cd D:\Program-space\HBuilderXProject\Vue3project三,npm install npm install四,查看安装 npm list五&a…

YoloV5改进策略:AKConv即插即用,轻松涨点

文章目录 摘要论文:《AKConv:具有任意采样形状和任意数目参数的卷积核》1、引言2、相关工作3、方法3.1、定义初始采样位置3.2、可变卷积操作3.3、扩展AKConv4、实验4.1、在COCO2017上的目标检测实验4.2、在VOC 7+12上的目标检测实验4.3、在VisDrone-DET2021上的目标检测实验4…

解析生效探测方法

linux dig命令 1.最常用的查询命令 dig baidu.com2 . 根据记录类型进行查询,比如MX,CNAME,NS,PTR等,只需将类型加在命令后面即可。 dig a.shifen.com ns3 . 指定域名DNS服务器测试解析是否生效的命令,以…

centos8 下载

下载网址 Download 直接下载地址 https://mirrors.cqu.edu.cn/CentOS/8-stream/isos/x86_64/CentOS-Stream-8-20231127.0-x86_64-dvd1.iso 这个版本安装的时候方便

一个函数最好只做一件事?未必!这是一个例子

编程实践中,为了模块化设计,降低程序的复杂度,提高程序的可读性,通常设计一个函数时应尽可能简单,简单到只做一件事。然而,工程实践中,有时候受制于一些因素,如内存空间、程序执行效…

大数据Doris(二十九):数据导入(Insert Into)

文章目录 数据导入(Insert Into) 一、​​​​​​​创建导入

算法通关村第五关—Hash基础知识(青铜)

Hash基础 一、Hash的概念和基本特征 哈希(Hash)也称为散列,就是把任意长度的输入,通过散列算法,变换成固定长度的输出,这个输出值就是散列值。很多人可能想不明白,这里的映射到底是啥意思,为啥访问的时间…

MetricBeat安装使用

目录 一、环境准备 二、安装部署 2.1 下载安装包到指定文件夹,并解压 2.2 复制证书文件 2.3 编辑配置文件 2.3 监控系统使用情况 2.3 启动服务 2.3 查看监控信息 一、环境准备 部署模式:单节点部署。监控的服务在哪个机器上则在哪个机器上部署 安…