探究SAM和眼球追踪技术在自动医学图像分割的应用(2023+GazeSAM: What You See is What You Segment)

摘要:

本研究探讨眼动追踪技术与SAM的潜力,以设计一个协同的人机交互系统,自动化医学图像分割。提出了GazeSAM系统,使放射科医生能够在图像诊断过程中通过简单地查看感兴趣的区域来收集分割掩模。该系统跟踪放射科医生的眼球运动,并利用眼球注视数据作为SAM的输入提示符,自动实时生成分割掩码。该系统使用眼动追踪技术识别放射科医生感兴趣的roi,然后提示SAM模型根据眼睛注视点对图像进行相应的分割。该系统具有用户友好、准确、快速生成分割结果的特点。值得注意的是,这是首次利用眼动追踪数据和SAM的力量实现医学图像实时分割过程自动化的研究。

贡献点:

1. 本文提出了一种将眼动追踪技术与SAM相结合的人机协作系统GazeSAM,用于放射科医生的实时医学图像分割。

2. GazeSAM系统采用基于屏幕的眼动仪,与Meta虚拟现实团队使用的基于眼镜的眼动仪相比,它为放射科医生提供了更高的准确性和更大的舒适度。此外,大多数眼动数据集是使用基于屏幕的眼动仪收集的,这使得我们的系统更适合于标准的眼动数据集收集。

3.我们的系统具有独特的2D和3D图像操作能力,这通常用于医疗环境。这是第一个为提高放射科医生在日常临床实践中的工作效率而开发的。

4. 该系统既可以用于粗分割掩码的采集,也可以用于眼动跟踪的采集。

方法:

整体框架如下图所示,包括数据收集和图像分割两部分。

 数据收集:本研究使用Tobii Pro Nano屏幕眼动仪。它是一款体积小、重量轻、使用方便的眼动仪,长度为170mm,重量为59g,采样率为60Hz。在实验之前,需要对眼动仪进行校准,以确保准确跟踪眼球运动,并使屏幕上的凝视坐标与用户所看的位置保持一致。在这里,在Tobii Pro眼动仪管理器中采用五点校准程序。标定完成后,眼球注视数据以屏幕上位置坐标的形式采集。

提示工程:眼球注视数据可以被认为是一组离散点序列,这些散点与眼球随时间的运动相对应。因此,可以将人眼注视数据转换为一个点或一个点序列,作为SAM的点提示。如下图所示,选择的提示有两种:第一种选择是使用随时间收集的整个眼球注视点序列,这可以提供更全面的用户注视轨迹表示。第二种选择是使用最后一个时间点采集到的眼球注视点作为提示。当需要单个对象的粗分割掩码时,这种方法更合适。

 值得注意的是,SAM可能并不总是产生完美的分割掩码,特别是对于边界区域。为了优化生成的掩码,用户需要手动向这些区域添加点,这可能是繁琐和耗时的。在第一个选项中,GazeSAM简化了这个过程,允许用户通过简单地查看所需的区域来添加点。这样,提供了一种更有效的分割掩码细化方法,有可能极大地提升整个流水线的用户体验和速度。通过预先计算的图像嵌入和人眼注视数据转换的提示,SAM可以近乎实时地生成分割掩码,使其成为一种利用眼动追踪技术的交互式分割系统。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/17298.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Acwing.873.欧拉函数

题目 给定n个正整数ai,请你求出每个数的欧拉函数。 输入格式 第一行包含整数n。 接下来n行,每行包含一个正整数ai。 输出格式 输出共n行,每行输出一个正整数an的欧拉函数。 数据范围 1 ≤n ≤100 1≤ai≤2* 109 输入样例: 3 3 6 8输…

企业服务器数据库中了_locked勒索病毒怎么解密,_勒索病毒简介与防护

网络技术的发展也为互联网安全带来了一定威胁,对于企业来说,数据安全是关系整个企业正常运行的基础,保护好计算机免受网络威胁的攻击成为大家的一致目标。不过,近期,我们收到很多企业的求助,企业的服务器数…

如何让python在手机上运行,python在手机上怎么运行

大家好,小编来为大家解答以下问题,python程序如何在手机上运行,如何让python在手机上运行,现在让我们一起来看看吧! 在计算机语言的运用过程中PythonS60手机是经常被使用的计算机语言,以下的文章是介绍Pyth…

中间件面试题

Redis相关面试题 此题是xx位面试题 (1)Redis Cluster,在一个请求过来的时候,数据分布在哪个节点, 使用的是有哪些算法? redis cluster 用不同的算法,就决定了数据如何分布到这些节点上去。 hash算法一致性hash算法hash slot算法(2)Redis为什么是高性能的? 基于内存…

流控平台Sentinel搭建和接入教程

流量控制和限流是大型系统必不可少的组成部分,Sentinel是Alibaba提供的一款特别好用的专业工具,属于那种看起来很牛,用起来也很牛的工具,下面记录一下接入的过程。 一,搭建平台 1,下载jar包 地址&#x…

2023-08-01力扣每日一题

链接: 2681. 英雄的力量 题意: 对于一个序列可以得到一个值max^2 * min,求一个数组的所有子序列数值和 解: 快速幂和慢速乘暴力 TLE(2558 / 2584) 首先对于这个数组来说,求值只依靠序列的最大值和最小值&#xf…

Robot Framweork之UI自动化测试---元素定位的4种方式

在Robot Framweork的UI自动化测试中,元素定位主要有四种,即通过id,name,xpath和CSS定位。 一、id定位 id就好比一个人身份证,元素在 HTML 页面中的唯一标识符,因此 ID 定位方式是最常用的方式之一&#xf…

C++标识符的作用域与可见性

标识符是一个由程序员定义的名称,为标识区别变量、函数和数据类型等,代表程序的某些元素,变量名就是标识符的一个展现。 作用域讨论的是标识符的有效范围,可见性讨论的是标识符是否可以被引用。在一个函数中声明的变量就只能在这个…

网络安全进阶学习第八课——信息收集

文章目录 一、什么是信息收集?二、信息收集的原则三、信息收集的分类1.主动信息收集2.被动信息收集 四、资产探测1、Whois查询#常用网站: 2、备案信息查询#常用网站: 3、DNS查询#常用网站: 4、子域名收集#常用网站:#常…

C语言实用调试详解

目录 什么是bug? 调试是什么?有多重要? 调试是什么? 调试的基本步骤 Debug和Release的介绍 Windows环境调试介绍 调试环境的准备 学会快捷键 调试的时候查看程序当前信息 查看临时变量的值 查看内存信息 查看调用堆栈 查看汇编信息 查看寄存器信息 一些调试…

控制反转ioc理解,配置说明

先写个例子吧 配置文件&#xff1a; <?xml version"1.0" encoding"UTF-8"?> <beans xmlns"http://www.springframework.org/schema/beans"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"h…

小红书 前端开发一面 2023.7.20

base北京 时长&#xff1a;45min 日常实习 项目拷打Three.jsVueJavaScriptCSS手写题 自我介绍选择一个你负责任务最多的项目讲讲在项目开发中遇到的一个印象最深刻的问题&#xff0c;最后如何解决的讲讲你认为的Three.js是什么?说说作用域说说Vue和React的区别说说Vue3的生命…

CSS 高频按钮样式

CSS 高频按钮样式 矩形与圆角按钮 正常而言&#xff0c;我们遇到的按钮就这两种 -- 矩形和圆角&#xff1a; 它们非常的简单&#xff0c;宽高和圆角和背景色。 <div classbtn rect>rect</div><div classbtn circle>circle</div>.btn {margin: 8px aut…

【Linux命令200例】rm用来删除文件或目录(谨慎使用)

&#x1f3c6;作者简介&#xff0c;黑夜开发者&#xff0c;全栈领域新星创作者✌&#xff0c;阿里云社区专家博主&#xff0c;2023年6月csdn上海赛道top4。 &#x1f3c6;本文已收录于专栏&#xff1a;Linux命令大全。 &#x1f3c6;本专栏我们会通过具体的系统的命令讲解加上鲜…

ThreadPoolExcuter源码阅读

线程池的基本参数 public ThreadPoolExecutor(int corePoolSize,int maximumPoolSize,long keepAliveTime,TimeUnit unit,BlockingQueue<Runnable> workQueue,RejectedExecutionHandler handler) {this(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue,…

MongDB文档--架构体系

阿丹&#xff1a; 在开始学习先了解以及目标知识的架构体系。就能事半功倍。 架构体系 MongoDB的架构体系由以下几部分组成&#xff1a; 存储结构&#xff1a;MongoDB采用文档型存储结构&#xff0c;一个数据库包含多个集合&#xff0c;一个集合包含多个文档。存储形式&#…

前端Vue入门-day06-路由进阶

(创作不易&#xff0c;感谢有你&#xff0c;你的支持&#xff0c;就是我前行的最大动力&#xff0c;如果看完对你有帮助&#xff0c;请留下您的足迹&#xff09; 目录 路由的封装抽离 声明式导航 导航链接 两个类名 自定义高亮类名 跳转传参 1. 查询参数传参 2. 动态…

opencv基础函数使用

文章目录 前言一、Mat类二、Vec3b三、Scalar函数四、imread函数五、imshow函数六、imwrite函数总结前言 本篇文章带大家来学习一下opencv基础函数的使用。 一、Mat类 Mat类是OpenCV中最常用的数据结构之一,用于表示和操作图像和矩阵数据。它提供了一个多维数组,用于存储像…

Socket 前端项目结构搭建

npm install socket.io-client --savenpm install element-plus --savenpm install vue-router4.0.12 --save简单的页面搭建 聊天系统登录前端实现 登录模板 <template><div class"login-container"><el-form ref"form" :model"fo…

IDEA快捷键大全

编辑与导航快捷键&#xff1a; Ctrl S: 保存当前文件Ctrl Z: 撤销Ctrl Y: 重做&#xff08;Redo&#xff09;Ctrl X: 剪切Ctrl C: 复制Ctrl V: 粘贴Ctrl D: 复制当前行或选定的区域Ctrl Delete: 删除光标后的单词Ctrl Backspace: 删除光标前的单词Ctrl Shift 上箭头…