针对超大规模病理图像分析!华中科技大学提出医学图像分割模型,提高干燥综合征诊断准确性

口干、眼干、皮肤干,每天伴有不明原因的肌肉酸痛和全身乏力,如果以上症状你「中招」了,除了考虑冬季天气干燥外,还应该警惕一种常见却总是被我们忽视的疾病——干燥综合征 (Sjögren’s Syndrome, SS)。

干燥综合征是以外分泌腺高度淋巴细胞浸润为特征的自身免疫性疾病, 在我国约有 500 万人患上此病。病症初期,外分泌腺(唾液腺、泪腺等)被高度浸润的淋巴细胞破坏,导致其功能减退,患者常常会感到口干、眼干,还可能伴有双肩关节酸痛等症状。与此同时,该病还会累及其他重要器官,比如肺、肝、肾脏,甚至影响生育。

在这里插入图片描述

图源:SLE解忧杂货铺

尽早发现并诊断干燥综合征至关重要,其中,局灶性淋巴细胞性唾液腺炎 (FLS) 是干燥综合征诊断的重要标准之一。通过获取患者的小唾液腺病理切片,并对其进行显微镜检查,依据现有的诊断标准,如果在每 4 平方毫米的组织样本中发现了超过 50 个淋巴细胞聚集,则认定其为典型的病灶特征。

然而,一张完整的病理扫描图像可达 10 万*10 万像素,约有 10 亿个像素点,医生需要仔细检查整幅图像并判断淋巴细胞聚集灶的个数,这不仅耗时,还常常依赖于专业医生的经验和主观判断,增加了误诊或漏诊的风险。

为了解决上述挑战,华中科技大学凃巍教授、陆枫教授等,利用在自动驾驶、面部识别等领域耳熟能详计算机视觉技术,提出了医学图像分割模型 M2CF-Net, 通过融合多分辨率和多尺度的图像识别技术,M2CF-Net 模型不仅能「看到」病理图像中的细微差别,还能精确定位和计数那些关键的生物标记——淋巴细胞聚集灶,帮助医生做出更快速、更准确的诊断。

研究成果以「M2CF-Net: A Multi-Resolution and Multi-Scale Cross Fusion Network for Segmenting Pathology Lesion of the Focal Lymphocytic Sialadenitis」为题,发表在 2023 IEEE International Conference on Medical Artificial Intelligence (MedAI) 上。

研究亮点:

  • 解决了超大规模组织病理图像中难以识别微小淋巴细胞聚集灶的问题

  • 融合多分辨率与多尺度,M2CF-Net 性能优于其他 3 种主流医学图像语义分割模型

  • M2CF-Net 在处理边界模糊、目标较小、纹理复杂的图像方面表现出色,其分割的图像具有更复杂的形状,与人类标注的实况非常吻合

在这里插入图片描述

论文地址:
https://doi.ieeecomputersociety.org/10.1109/MedAI59581.2023.00063

开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读,并提供海量数据集与工具:

https://github.com/hyperai/awesome-ai4s

数据集:来自同济医院临床数据

本研究选用来自同济医院的一组小唾液腺病理切片数据集, 其中,小唾液腺是从患有原发性干燥综合征的病人身上切除的。
*小唾液腺分布在人体口腔和咽部黏膜下,作用是分泌唾液,维持口腔湿润、帮助消化、保护口腔组织免受感染等。

通过对小唾液腺病理切片进行染色,医生们可以用显微镜观察细胞的清晰结构。具体而言,研究人员对所有切片进行复查,确保其质量,并确认是否存在局灶性淋巴细胞性咽炎,病灶的特征是腺体周围每 4 平方毫米有超过 50 个淋巴细胞聚集。若患有病灶,则对其进行标注。

最后确定的数据集有 203 个样本,其中正样本 171 个(符合病灶特征),负样本 32 个(不符合病灶特征)。 研究人员将这些样本按照一定比例分为训练集、验证集、测试集,分别用于模型的训练、调整和性能评估。在实际过程中,研究人员对数据进行预处理,既减少了计算量,又提高了模型的泛化能力。

设计超大规模图像处理流水线,优化模型训练第一步

该研究的目标是从分辨率为 100,000 *100,000 的小唾液腺组织切片图中,提取局灶性淋巴细胞性唾液腺炎 (FLS) 的病变区域。然而,将千兆像素的图像直接输入神经网络进行训练是不可能的,主要是因为这种图像过大,计算资源、训练时长、现有框架等不足以支撑。

因此,研究人员设计了一套针对超大规模病理图像处理的流水线。 该流水线主要包括 3 个步骤:感兴趣区域 (Regions of Interest, ROI) 提取、染色标准化 (Stain Normalization)、图像分块 (WSl Patching)。如下图所示:

在这里插入图片描述

针对超大规模病理图像处理的流水线

第一部分,ROI 提取
为了提高病理图像中特定组织区域的识别准确性,研究人员最初使用了基于卷积神经网络 (CNN) 的分类器。然而,该分类器在处理气泡、碎裂组织和伪影等复杂特征时遇到了困难,导致其表现未达预期。为解决这一问题,研究团队采取了以下措施:

  • 手动注释:对一部分样本进行了细致的注释,丰富数据集后重新训练分类模型。

  • 数据增强:采用旋转、缩放和平移等技术提高训练数据的多样性,从而提升分类器的准确性。

第二部分,染色标准化
病理图像染色标准化的主要目的是确保不同来源的图像拥有一致的视觉色彩和对比度。具体而言,由于染色剂浓度、pH 值、温度和时间等因素的影响,实际染色过程中常出现染色不均匀或强度不一致的问题,导致相同类型的组织呈现出不同的视觉效果。这种差异会影响计算机视觉模型的准确性。

为解决此问题,研究人员采用了 Vahadane 算法。该算法通过调整源图像的染色特征,使其与目标图像相似,从而实现染色标准化的效果。具体来说,它计算源图像和目标图像之间的颜色矩阵变换,实现源图像的颜色变换。

第三部分,图像分块
为了应对经过 ROI 提取和染色标准化后图像尺寸仍过大,导致样本无法输入深度学习模型进行训练的问题。研究人员采用了基于 Patch 的训练方法,将图像切分为带有重叠区域的小块,这不仅提高了模型训练效率,还保留了原始信息。

为了分析较大导管附近细小淋巴细胞的详细特征,需要在较大视野范围上捕捉组织级别的特征。然而,为了保证分割结果的精确性,又需要在较小的视野范围上捕捉细胞级别的特征。如何权衡这两者之间的关系显得尤为重要。

为此,研究人员考虑了多分辨率下的图片分块方法,主要是将原始图像进行几次降采样,在这些降采样的图像上分别提取相同尺寸大小的图像块。这些从不同采样倍率图像上切分的 Patch 就有了不同大小的视野范围,既能捕捉到组织级别特征,又兼顾了细胞级别特征。

多分辨率与多尺度的融合模型,性能高效提升

研究人员选用的模型 M2CF-Net 包含多分支编码器 (Multi-branch Encoder) 和基于融合的级联解码器 (Fusion-based Cascaded Decoder)。 编码器在不同尺度上对不同分辨率斑块的特征进行下采样,而解码器则使用级联融合块来融合多分支编码器生成的特征图。

在这里插入图片描述

M2CF-Net 网络架构

具体而言,为了同时获取组织级别和细胞级别的特征,研究人员设计了一个多分支网络,该网络是典型的 Encoder-Decoder 架构模型,能够接受不同分辨率的图像作为输入。其中,Encoder 包括 3 个输入分支,分别接受不同大小的分辨率图像,并在编码过程中,分别产生不同视野范围的特征图组合。而 Decoder 则能够将 Encoder 产生的特征图组合利用级联的 Fusion Block 融合起来,输出最终的预测图。

在这个过程中,研究人员也利用了空间注意力和通道注意力机制,来增强输入特征的表征能力。最后使用 BCEDice Loss 作为模型的损失函数,该损失函数权衡了二值交叉熵损失和 Dice 损失,可以有效指导模型的优化方向。

实验结论:M2CF-Net 性能优于其他 3 种主流医学图像语义分割模型

研究人员将其所提模型 (M2CF-Net 与其他 4 个流行的医学图像语义分割模型进行对比——UNet、MSNet、HookNet 和 TransUNet。结果发现,M2CF-Net 模型在利用多分辨率和多尺度特征方面更具优势。

  • UNet:采用编码器-解码器结构,捕捉多尺度特征以进行精确分割

  • MSNet:引入多尺度减法网络,以加强特征提取并提高分割的准确性

  • HookNet:加入 Hook 来捕捉和利用多分辨率特征,增强 U-Net 结构,有效处理医学图像中各种尺寸图像的分割

  • TransUNet:基于 Transformer,通过引入自注意力机制来提高分割精度

如下图所示,研究人员发现 M2CF-Net 的 Dice 为 69.40%,达到最高,而且其参数量只有性能第三的 TransUNet 的一半,比参数量少的 UNet 和 MSNet 的性能分别提高 38.9% 和 22.5%,能有效地捕捉和融合图像中不同尺度的特征。

在这里插入图片描述

不同模型的性能比较

具体而言,M2CF-Net 的参数数量 (Params) 比 TransUNet 和 HookNet 少,但多于 UNet 和 MSNet。这是因为 TransUNet 基于 Transformer 架构,与 CNN 相比拥有更多的参数,单分支解码器使 M2CF-Net 的参数数量少于 HookNet。然而,与单分支输入网络相比,M2CF-Net 中的多分支编码器结构导致了更高的参数数量。

此外,经过深入分析,研究发现 M2CF-Net 在处理边界模糊、目标较小、纹理复杂的图像方面表现出色。如下图所示,M2CF-Net 的分割结果具有更复杂的形状,这与人类标注的实况非常吻合。

在这里插入图片描述

级联融合块中特征图和空间注意力的可视化GT 表示由医生手动标注的SA (f2) 表示由特征图 f2 生成的空间注意力热图

计算机视觉技术革新医学图像分割

医学图像分析对于疾病诊断至关重要,通过计算机技术可以实现对医学图像的精确分割,有效识别病变区域、人体器官以及感染部位,从而提升诊断效率。近年来,得益于深度学习等先进技术的进步,医学图像分割技术正快速从依赖手动操作转向自动化处理,经过专门训练的 AI 系统现已成为了医疗专业人员不可或缺的辅助工具。

华中科技大学同济医学院附属同济医院风湿免疫科副主任凃巍教授, 拥有超过 20 年的风湿免疫疾病诊疗经验,在干燥综合征方面具有丰富的诊断经验。在本文的研究中,凃巍教授深入解析了干燥综合征的病理学诊断流程,并指出了其中容易混淆的关键点,通过实际案例展示了不同情况下的诊断结果。掌握了干燥综合症的病理学诊断方法后,陆枫教授的团队提出了利用计算机视觉中的图像分割技术来应对诊断挑战。 双方借助先进的 AI 技术,为干燥综合征的诊断开辟了新的路径。
凃巍教授个人主页:
https://www.tjh.com.cn/MedicalService/outpatient_doctor.html?codenum=101110

陆枫教授个人主页:
http://faculty.hust.edu.cn/lufeng2/zh_CN/index.htm

除了上述提到的科研人员,还有很多科学家致力于对医学图像与 AI 交叉领域的前沿研究。

例如,美国麻省理工学院计算机科学与人工智能实验室 (MIT CSAIL) 团队联合麻省总医院 (Massachusetts General Hospital) 和哈佛医学院 (Harvard Medical School) 的研究人员,提出了一种用于交互式生物医学图像分割的通用模型 ScribblePrompt。 这种基于神经网络的分割工具,不仅支持注释人员使用涂鸦、点击和边界框等不同的注释方式来进行灵活的生物医学图像分割任务,对于未经训练的标签和图像类型同样表现出色。

相信随着更多先进技术被开发并应用于临床实践,肿瘤学、神经病学等多个医学分支都将受益,医学图像分析领域将迎来更加光明的发展前景。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/64859.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

本地部署 LLaMA-Factory

本地部署 LLaMA-Factory 1. 本地部署 LLaMA-Factory2. 下载模型3. 微调模型3-1. 下载数据集3-2. 配置参数3-3. 启动微调3-4. 模型评估3-5. 模型对话 1. 本地部署 LLaMA-Factory 下载代码, git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Facto…

[创业之路-199]:《华为战略管理法-DSTE实战体系》- 3 - 价值转移理论与利润区理论

目录 一、价值转移理论 1.1. 什么是价值? 1.2. 什么价值创造 (1)、定义 (2)、影响价值创造的因素 (3)、价值创造的三个过程 (4)、价值创造的实践 (5&…

ASP.NET |日常开发中定时任务详解

ASP.NET |日常开发中定时任务详解 前言一、定时任务的概念与用途1.1 定义1.2 应用场景 二、在ASP.NET中实现定时任务的方式2.1 使用System.Timers.Timer2.2 使用Quartz.NET 三、定时任务的部署与管理3.1 部署考虑因素3.2 管理与监控 结束语优质源码分享 ASP.NET &am…

【unity】【游戏开发】Unity项目一运行就蓝屏报Watch Dog Timeout

【背景】 由于是蓝屏所以没法截屏,总之今天遇到了一开Unity,过一阵就蓝屏的情况,报Watch Dog Timeout。 【分析】 通过任务管理器查看,发现Unity占用率100%,再观察Unity内部,每次右下角出现一个Global I…

如何从 0 到 1 ,打造全新一代分布式数据架构

导读:本文从 DIKW(数据、信息、知识、智慧) 模型视角出发,探讨数字世界中数据的重要性问题。接着站在业务视角,讨论了在不断满足业务诉求(特别是 AI 需求)的过程中,数据系统是如何一…

java全栈day20--Web后端实战(Mybatis基础2)

一、Mybatis基础 1.1辅助配置 配置 SQL 提示。 默认在 mybatis 中编写 SQL 语句是不识别的。可以做如下配置: 现在就有sql提示了 新的问题 产生原因: Idea 和数据库没有建立连接,不识别表信息 解决方式:在 Idea 中配置 MySQL 数…

深度学习每周学习总结J9(Inception V3 算法实战与解析 - 天气识别)

🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者:K同学啊 | 接辅导、项目定制 目录 0. 总结Inception V1 简介Inception V3 简介1. 设置GPU2. 导入数据及处理部分3. 划分数据集4. 模型构建部分5. 设置超参数&#xff1…

重温设计模式--中介者模式

中介者模式介绍 定义:中介者模式是一种行为设计模式,它通过引入一个中介者对象来封装一系列对象之间的交互。中介者使得各个对象之间不需要显式地相互引用,从而降低了它们之间的耦合度,并且可以更方便地对它们的交互进行管理和协调…

【开源库 | xlsxio】C/C++读写.xlsx文件,xlsxio 在 Linux(Ubuntu18.04)的编译、交叉编译

😁博客主页😁:🚀https://blog.csdn.net/wkd_007🚀 🤑博客内容🤑:🍭嵌入式开发、Linux、C语言、C、数据结构、音视频🍭 ⏰发布时间⏰: 2024-12-20 …

NACA四位数字翼型

NACA四位数字翼型,以NACA 2412为例 第一位数字2 —相对弯度 第二位数字4 —相对弯度所有位置(单位化后的) 最末两位数字12 —相对厚度 所有NACA四位数字翼型的(相对厚度所在的位置)

DataX与DataX-Web安装与使用

DataX github地址:DataX/introduction.md at master alibaba/DataX GitHub 环境准备 Linux环境系统 JDK(1.8及其以上版本,推荐1.8) Python(2或者3都可以) Apache Maven 3.x(源码编译安装…

电子应用设计方案69:智能护眼台灯系统设计

智能护眼台灯系统设计 一、引言 随着人们对眼睛健康的重视,智能护眼台灯成为了越来越多人的选择。本设计方案旨在打造一款功能丰富、护眼效果显著且智能便捷的台灯系统。 二、系统概述 1. 系统目标 - 提供无频闪、无蓝光危害的均匀柔和光线,保护眼睛。…

cesium 常见的 entity 列表

Cesium 是一个用于创建3D地球和地图的开源JavaScript库。它允许开发者在Web浏览器中展示地理空间数据,并且支持多种类型的空间实体(entities)。 Entities是Cesium中用于表示地面上或空中的对象的一种高层次、易于使用的接口。它们可以用来表示点、线、多边形、模型等,并且可…

在Visual Studio 2022中配置C++计算机视觉库Opencv

本文主要介绍下载OpenCV库以及在Visual Studio 2022中配置、编译C计算机视觉库OpenCv的方法 1.Opencv库安装 ​ 首先,我们需要安装OpenCV库,作为一个开源库,我们可以直接在其官网下载Releases - OpenCV,如果官网下载过慢&#x…

【Java基础面试题035】什么是Java泛型的上下界限定符?

回答重点 Java泛型的上下界限定符用于对泛型类型参数进行范围限制,主要有上界限定符和下届限定符。 1)上界限定符 (? extends T): 定义:通配符?的类型必须是T或者T的子类,保证集合元素一定是T或者T的子类作用&…

WPF+MVVM案例实战与特效(四十七)-实现一个路径绘图的自定义按钮控件

文章目录 1、案例效果2、创建自定义 PathButton 控件1、定义 PathButton 类2、设计样式与控件模板3、代码解释3、控件使用4、直接在 XAML 中绑定命令3、源代码获取4、总结1、案例效果 2、创建自定义 PathButton 控件 1、定义 PathButton 类 首先,我们需要创建一个新的类 Pat…

共模电感的工作原理

共模电感也称为共模扼流线圈,是一种抑制共模干扰的器件,它是由两个尺寸相同,匝数相同的线圈对称地绕制在同一个铁氧体环形磁芯上,形成的一个四端器件。当共模电流流过共模电感时,磁芯上的两个线圈产生的磁通相互叠加&a…

外连接转AntiJoin的应用场景与限制条件 | OceanBase SQL 查询改写系列

在《SQL 改写系列:外连接转内连接的常见场景与错误》一文中,我们了解到谓词条件可以过滤掉连接结果中的 null 情形的,将外连接转化为内连接的做法是可行的,正如图1中路径(a)所示。此时,敏锐的你或许会进一步思考&#…

二、windows环境下vscode使用wsl教程

本篇文件介绍了在windows系统使用vscode如何连接使用wsl,方便wsl在vscode进行开发。 1、插件安装 双击桌面vscode,按快捷键CtrlShiftX打开插件市场,搜索【WSL】点击安装即可。 2、开启WSL的linux子系统 点击左下方图标【Open a Remote Win…

因子问题(真EASY)

描述 任给两个正整数N、M,求一个最小的正整数a,使得a和(M-a)都是N的因子。 输入描述 包括两个整数N、M。N不超过1,000,000。 输出描述 输出一个整数a,表示结果。如果某个案例中满足条件的正整数不存在,则在对应行输出-1 用例…