vox2vec论文速读

vox2vec: A Framework for Self-supervised Contrastive Learning of Voxel-Level Representations in Medical Images

摘要

本文介绍了 vox2vec——一种体素级表示的自监督学习 (SSL) 对比方法
vox2vec 表示由特征金字塔网络 (FPN) 建模:

  • 体素表示是来自不同金字塔级别的相应特征向量的串联。 FPN
  • 经过预训练,可在不同的增强上下文中为同一体素生成相似的表示,并为不同的体素生成独特的表示。这导致了统一的多尺度表示,可以捕获全局语义(例如,身体部位)和局部语义(例如,不同的小器官或健康与肿瘤组织)
    代码地址

方法

在这里插入图片描述
左图:从每个图像中批量采样两个重叠的增强 3D patch。相同颜色和形状的标记表示正对的体素。
右图:体素级表示是通过连接来自 FPN 不同级别的相应特征向量获得的。最后,将表示投影到计算对比损失的空间

这篇文章理解的关键我觉得在于他的不同颜色的监督信号的确定,以下是文章说明:
将正对定义为对应于给定体积中相同位置的任何一对体素。相反,我们将对应于同一体积中不同位置的任何一对体素以及属于不同体积的体素称为负对(由于文中有重叠块,因为相当于重叠部分,颜色相同,为正例)

基于体素的应该计算量会很大,以下是作者的解决办法:

体素预测的标准架构是3D UNet。UNet的主干返回与输入补丁分辨率相同的特征图。然而,我们的实验表明,仅靠这个特征图不足以对自监督体素级表示进行建模。原因是由于内存限制,无法以全分辨率生成具有 100 多个通道的特征图。同时,为了适用于许多下游任务,表示的维数应该约为 1000。为了解决这个问题,使用 3D FPN 架构而不是标准的 3D UNet。FPN 以特征金字塔的形式返回体素级表示。金字塔的底部是一个特征图,具有 16 个与输入补丁分辨率相同的通道。下一个金字塔级别的通道数是前一个金字塔的两倍,分辨率是前一个金字塔的两倍。每个体素的表示是来自所有金字塔级别的相应特征向量的串联。我们使用具有六个金字塔级别的 FPN,从而产生 1008 维表示。图示见图1。

损失函数:infoNCE
在这里插入图片描述

实验结果

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/814028.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Cascader 级联选择器 - 选择器最后一级数据为空

原因:将扁平数据转化为树形数据时,给每个项都添加了 children export const transList2Tree (list, rootPid) > {const result []list.forEach(item > {if (item.pid rootPid) {const children transList2Tree(list, item.id)item.children …

深圳风控建模岗薪资水平如何?

不管是学生还是工作的小伙伴,估计都对不同岗位工作几年的薪酬水平比较感兴趣。之前的文章提供爬取招聘网站,获取某类工作招聘信息的实现逻辑和代码。感兴趣可翻看批量爬取招聘网站上工作岗位的招聘信息。本文对爬取下来的信息进行清洗处理,以深圳风控建模岗为例,分析不同工…

Linux C++ 034-STL之谓词

Linux C 034-STL之谓词 本节关键字:Linux、C、谓词 相关库函数: 谓词概念 概念: 返回值为bool类型的仿函数称为谓词 如果operator()接受一个参数,那么叫做一元谓词 如果operator()接受两个参数,那么叫做二元谓词 一…

Unity绘制地图

首先在项目/Assets文件夹下创建一个Tiles文件夹 在层级下点击鼠标右键选择2D对象选择瓦片地图创建Tilemap。 选择地图素材 如果素材需要裁剪,在检查器Sprite模式选择多个,点击Sprite Editor,选择切 ,选择类型Grid By Cell Count,…

BoostCompass(建立正排索引和倒排索引模块)

阅读导航 一、模块概述二、编写正排索引和倒排索引模块✅安装 jsoncpp✅Jieba分词库的安装1. 代码基本框架2. 正排索引的建立3. 倒排索引的建立 三、整体代码⭕index.hpp 一、模块概述 这个模块我们定义了一个名为Index的C类,用于构建和维护一个文档索引系统。该系…

3D视觉技术

1. 简介 3D视觉是一个多学科相融合的技术,可以总结为:计算图形学计算机视觉人工智能3D视觉。3D视觉技术是通过3D摄像头采集视野空间内每个点位的三维座标信息,通过算法复原获取三维立体成像,不会轻易受到外界环境、复杂光线的影响…

Fiddler的安装和使用

Fiddler是一款强大的网络调试工具,可以帮助开发者进行网络请求和响应的调试和分析。以下是关于Fiddler的安装和使用的简要说明: 安装: 访问Fiddler的官方网站,下载对应版本的安装程序(一般选择经典版下载 - Fiddler Classic&…

【计算机毕业设计】停车场管理系统——后附源码

🎉**欢迎来到琛哥的技术世界!**🎉 📘 博主小档案: 琛哥,一名来自世界500强的资深程序猿,毕业于国内知名985高校。 🔧 技术专长: 琛哥在深度学习任务中展现出卓越的能力&a…

线程创建中的方法、属性情况?(企业真题)

线程创建中的方法、属性情况? start():①启动线程 ②调用线程的run() run():将线程要执行的操作,声明在run()中。 currentThread():获取当前执行代码对应的线程 getName(): 获取线程名 setName(): 设置线程名 sleep(long millis):静态方法,调…

pe格式从入门到图形化显示(八)-导入表

文章目录 前言一、什么是Windows PE格式中的导入表?二、解析导入表并显示1.导入表的结构2.解析导入表3.显示导入表 前言 通过分析和解析Windows PE格式,并使用qt进行图形化显示 一、什么是Windows PE格式中的导入表? 在Windows中&#xff0…

Harmony鸿蒙南向驱动开发-SDIO接口使用

功能简介 SDIO是安全数字输入输出接口(Secure Digital Input and Output)的缩写,是从SD内存卡接口的基础上演化出来的一种外设接口。SDIO接口兼容以前的SD卡,并且可以连接支持SDIO接口的其他设备。 SDIO接口定义了操作SDIO的通用…

python NLP数据集分割大文件

python NLP数据集分割大文件 NLP数据文件有时候特别大的文件,需要分割成N个小文件来处理 部分提取:可以提取N份,每份K行 全部分割:分割整个文件,每一份K行 import osdef split_file(filename, outdir,num_lines):&quo…

[ LeetCode ] 题刷刷(Python)-第49题:字母异位词分组

题目描述 给你一个字符串数组,请你将 字母异位词 组合在一起。可以按任意顺序返回结果列表。 字母异位词是由重新排列源单词的所有字母得到的一个新单词。 即将含有相同字符但排列顺序不同的字符串放入同一个组中。 示例 示例 1: 输入: strs ["eat", &qu…

21 标准错误

标准输出重定向关闭无数据 下面的代码&#xff1a; #include <stdio.h> #include <string.h> #include <stdlib.h> #include <unistd.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h>int main() {close(1);i…

Xilinx Zynq UltraScale+ MPSoC无人机控制器

官方术语是无人驾驶飞行器&#xff08;UAV&#xff09;&#xff0c;这显然有点拗口&#xff0c;所以我们更喜欢说无人机。在过去的几十年里&#xff0c;无人机技术有了巨大的进步。我们为一个客户开发了一个无人机的飞行和视频控制器。 客户挑战 客户需要一种混合FPGA/CPU硬件&…

服务器停用,备份服务文件。

文章目录 引言I 文件备份1.1 数据库文件/证书1.2 redis1.3 nacosII JAVA流水线备份2.1 java构建2.2 镜像构建2.3 docker 部署2.4 子模块构建2.5 Dockerfile_prodIII VUE项目流水线备份3.1 Node.js 构建3.2 Dockerfile_prod

SqlServer 远程删除1000万数据需要多久?

删除速度和服务器的性能&#xff0c;删除的表是否有主外键等都有关系。 如果是全表数据删除&#xff1a;truncate table 表名 &#xff08;不管表多大&#xff0c;删除时间基本上是瞬间的&#xff0c;目前删除的最大的表数量级千万级&#xff09; 用delete语句删除&#xff…

是的,本科毕业八年,我考研了

今天&#xff0c;是一篇纯分享文。 是的&#xff0c;本科毕业八年&#xff0c;我考研了。 停更10个月&#xff0c;历时296天&#xff0c;我考研上岸了。 小伙伴们&#xff0c;好久不见。 一 发今年第一篇文章的时候刚处理完后续事宜&#xff0c;就简单说了句&#xff0c;后台…

MoCo v1(CVPR 2020)原理与代码解读

paper&#xff1a;Momentum Contrast for Unsupervised Visual Representation Learning official implementation&#xff1a;https://github.com/facebookresearch/moco 背景 最近的一些研究提出使用对比损失相关的方法进行无监督视觉表征学习并取得了不错的结果。尽管是受…

java算法:两个数字相加

首先看算法题描述&#xff1a; 1、给你两个 非空 的链表&#xff0c;表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的&#xff0c;并且每个节点只能存储 一位 数字。 2、请你将两个数相加&#xff0c;并以相同形式返回一个表示和的链表。 3、你可以假设除了数字…