RET-CLIP:眼科疾病诊断大模型

RET-CLIP:眼科疾病诊断大模型

    • RET-CLIP模型的工作流程和架构
      • 图表组成部分
      • 工作流程
    • 精细拆解
      • 应用RET-CLIP模型进行糖尿病视网膜病变分级

 


论文:http://arxiv.org/pdf/2405.14137v1

代码:https://github.com/sStonemason/RET-CLIP

RET-CLIP 是在一个包含 193,865 名患者的数据集上专门训练的,用于提取彩色眼底照片(CFP)的一般特征,并采用三方优化策略,重点关注左眼、右眼和患者水平,以反映真实世界的临床场景。

实验证明,RET-CLIP 在糖尿病视网膜病变、青光眼、多种疾病诊断和多种疾病的多标签分类等四个关键诊断类别的八个不同数据集上的表现优于现有基准,这证明了我们的基础模型的性能和通用性。

RET-CLIP模型的工作流程和架构

图表组成部分

  1. 视觉编码器 (Visual Encoder)

    • 接收来自左眼(Imgs_L)和右眼(Imgs_R)的眼底图像作为输入。
    • 图像经过视觉编码器处理,输出为左眼和右眼的特征表示。
  2. 文本编码器 (Text Encoder)

    • 接收临床诊断报告的文本数据作为输入。
    • 文本通过文本编码器处理,输出为文本的特征表示。
  3. 相似性计算 (Similarity Calculation)

    • 使用多层感知机(MLP)和连接操作符处理从视觉编码器和文本编码器得到的特征。
    • 特征表示包括左眼级别(L)、右眼级别(R)和患者级别(P)的特征。
    • 计算特征之间的相似性,通过这种方式训练模型更好地理解视觉信息和文本信息之间的关联。

工作流程

  • 图像输入:左眼和右眼的眼底图像分别输入到共享权重的视觉编码器中。
  • 文本输入:临床诊断报告输入到文本编码器。
  • 特征提取:每个编码器分别提取其输入数据的特征表示。
  • 特征合并:左眼、右眼和患者级别的图像特征与文本特征进行合并和对比学习。
  • 相似性度量:通过MLP和连接操作计算不同级别的特征之间的相似性。

这种结构允许模型在进行疾病分类和诊断时,充分利用图像和文本之间的多模态数据。

通过这种方式,模型能够更准确地理解和预测医学图像中的病理特征与临床报告中描述的病理状态之间的对应关系。

这不仅增强了模型对眼科疾病(如糖尿病视网膜病变)的诊断能力,也提高了其在真实世界临床应用中的实用性和准确性。

精细拆解

目的: RET-CLIP旨在通过结合视觉与语言信息,提升眼科疾病图像的自动诊断准确性,并增强模型在不同语言和多样化数据集上的泛化能力。

解法: RET-CLIP模型的解法可以拆解为以下几个子解法:

  1. 多模态数据预处理与整合

    • 子解法:结合彩色眼底摄影(CFP)图像和对应的临床诊断报告,进行数据预处理和特征整合。
    • 之所以使用此子解法,是因为结合视觉与文本信息可以使模型更准确地理解医学图像和相关的临床描述,从而提高诊断的准确率。例如,在糖尿病性视网膜病变的诊断中,通过对视网膜图像和详细诊断报告的整合分析,模型可以更精确地标记出病变的程度。
  2. 视觉和文本编码器的设计与实现

    • 子解法:采用基于ViT的视觉编码器和基于BERT的文本编码器分别提取图像和文本的特征。
    • 之所以使用这些编码器,是因为它们在各自的领域内已被证明能有效提取深层特征。特别是ViT编码器因其对图像中的局部和全局信息进行综合考量,适合处理医学图像中的复杂结构。
  3. 对比学习策略的应用

    • 子解法:通过图像与文本特征之间的对比学习,增强模型对正负样本的区分能力。
    • 之所以采用对比学习,是因为它能够通过正负样本对的比较,有效地提升模型在未见过数据上的泛化能力。例如,在模型训练中,将与特定病症相对应的图像特征与正确和错误的文本描述进行对比,有助于模型更准确地识别和学习疾病特征。
  4. 多级别特征融合

    • 子解法:在单眼和患者级别上进行特征融合,以提取更细致的视觉和文本信息。
    • 之所以进行多级别融合,是为了全面考虑个体差异及其对疾病影响的复杂性,这对于精确医疗至关重要。例如,通过比较同一患者左右眼的图像数据,模型可以更全面地理解疾病的双眼影响,进而提高诊断的全面性和准确性。

这些子解法共同构成了RET-CLIP的整体解决策略,每一步的设计都针对其最终目的—提高眼科疾病图像诊断的准确性和模型的泛化能力。

 
以糖尿病视网膜病变的分级为例来说明RET-CLIP模型的工作原理和效果:

糖尿病视网膜病变是一种与糖尿病相关的眼部并发症,可导致视力受损甚至失明。该病变的早期诊断和准确分级对于预防视力丧失至关重要。

应用RET-CLIP模型进行糖尿病视网膜病变分级

  1. 数据收集和预处理

    • 子解法:收集患者的彩色眼底摄影(CFP)图像以及相应的详细临床诊断报告。
    • 理由:CFP图像能显示视网膜的细节,如微血管异常等早期病变迹象,而临床报告提供了关于病变进展的额外文本信息,这些都对模型训练至关重要。
  2. 特征提取

    • 子解法:使用基于Vision Transformer的视觉编码器提取图像特征;使用基于BERT的文本编码器提取临床报告中的文本特征。
    • 理由:ViT编码器能够识别微小的病变特征,如微血管渗漏或视网膜厚度的变化;BERT编码器有效处理诊断报告中的详细描述,如视网膜厚度的具体数值或其他相关临床指标。
  3. 对比学习

    • 子解法:在训练阶段,对图像和文本特征进行对比学习,以强化它们之间的相关性。
    • 理由:通过比较不同糖尿病视网膜病变等级的图像和对应的文本描述,模型学习区分无病变、轻微、中度、重度和增殖性视网膜病变的特征,提高分类的准确度。
  4. 多级别特征融合

    • 子解法:综合单眼的图像特征,提取全面的患者级特征。
    • 理由:糖尿病视网膜病变可能在一个患者的两眼中表现不同。通过综合考虑两眼的信息,可以更准确地评估患者的整体状况和病变程度。

在实际应用中,RET-CLIP模型能够准确地从糖尿病患者的眼底图像中检测并分类糖尿病视网膜病变的严重程度。

模型结合了图像和文本数据,能够识别从轻微到重度的各级病变,并根据临床报告中的额外信息进行验证和精细调整。

这种精确的分级帮助医生制定更有效的治疗计划,预防视力进一步恶化。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/18872.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java手动启动jar包

启动jar包,去到当前jar包路径cmd, windows乱码先执行:chcp 65001 java -Xms512m -Xmx1024m -Dfile.encodingutf-8 -jar -Dspring.cloud.nacos.config.server-addr127.0.0.1:8848 -Dspring.cloud.nacos.discovery.server-addr127.0.0.1:8848 …

基于 DCT 的图像滤波

需求分析 对于图像去噪这一需求,我们可以通过DCT(离散余弦变换)算法来实现。DCT是一种基于频域的变换技术,可以将图像从空间域转换为频域,然后通过滤波等处理方式进行去噪。 针对这一需求,我们需要进行以下…

mmu之TLB的来源与实现

TLB的由来 遇到的问题 对于两级页表(Page Table)的设计,需要访问两次物理内存才可以得到虚拟地址对应的物理地址(一次访问第一级页表,另一次访问第二级页表),而物理内存的运行速度相对于处理器本身来说,有几十倍的差距; 因此在处…

湘潭大学软件工程专业oracle-sqlplus安装教程

前言 笔者在网上找了一些教程,但是没有装好,或者不知道啥原因,反正就是登不进去老师要求的系统,连接不上服务器,非常苦恼,请教了一下同学,终于弄好了,本文希望能帮助到和我一样有相…

OpenHarmony面向万物智联的应用框架的思考与探索

应用框架,是操作系统连接开发者生态,实现用户体验的关键基础设施。业务的飞速发展促进了应用框架不断演进和变化。 01►业界应用框架的演进 应用是用户使用操作系统/设备的入口,应用框架则是应用开发和运行的基础设施。以移动端为例&#x…

Red Hat Enterprise Linux (RHEL) 8.10 发布 - 红帽企业 Linux 8 完美终结版

Red Hat Enterprise Linux (RHEL) 8.10 (x86_64, aarch64) - 红帽企业 Linux 红帽企业 Linux 8 完美终结版 请访问原文链接:Red Hat Enterprise Linux (RHEL) 8.10 (x86_64, aarch64) - 红帽企业 Linux,查看最新版。原创作品,转载请保留出处…

看看最新的B端登录界面,你是不是被潮流抛弃了?

毛玻璃风格(Frosted Glass Style)是新拟态设计风格中的一种分支,它灵感来源于现实世界中的毛玻璃材质。毛玻璃是一种通过在玻璃表面加工处理的方式,使其具有模糊、云翳和透明效果的特殊玻璃。 在设计中,毛玻璃风格通常…

保研面试408复习 6——计组存储器、数据结构、离散数学、特征值

文章目录 一、计组1、cache的全名、作用、映射方式和写操作的具体实现、多级cache补充:存储器知识 2、流水线数据冒险以及解决方式 二、数据结构1、分布式场景下,十个计算节点的大规模排序问题2、红黑树和B树B树的使用场景、优点、能够维护什么样的操作等…

无人机操作界面来了,起点就很高呀。

无人机操作界面设计需要考虑以下几个方面: 易用性:无人机操作界面应该简单直观,易于操作和理解。操作按钮和控键应该布局合理,易于触摸或点击。重要的操作功能应该易于找到和使用,避免用户迷失或困惑。实时反馈&#…

红蓝对抗提权篇之一文看懂提权

一、计算机中的权限 1.1 不同的权限系统 权限在不同的应用中有着不同的分类,与安全相关的大致上我们分为: 匿名访问权限 来宾权限 用户权限 管理员权限 系统权限 不同的权限对应的权力各不相同,我们对自己电脑一般是用户权限和管理员权限。…

【AI赋能】香橙派OrangePi AIpro初体验

【AI赋能】香橙派OrangePi AIpro初体验 1、初识香橙派1.1、仪式感开箱1.2、OrangePi AIpro(8T)介绍 2、上电开机2.1、开机2.2、串口调试2.2.1 两种方式登录2.2.2 相关信息 2.3、启动系统2.4、网络配置 3、连接摄像头4、目标检测4.1、Jupyter Lab模式4.2、 目标检测测试4.2.1 视…

06 FreeRTOS 互斥量(mutex)

1、互斥量的使用场景 用于保护临界资源,在多任务系统中,任务A正在使用某个资源,还没用完的情况下任务B也来使用的话,就可能导致问题。 比如对于串口,任务A正使用它来打印,在打印过程中任务B也来打印&#x…

Cobaltstrike渗透测试框架

Cobaltstrike简介 cobalt strike(简称CS)是一款团队作战渗透测试神器,分为客户端及服务端,一个服务端可以对应多个客户 端,一个客户端可以连接多个服务端,可被团队进行分布式协团操作. 和MSF关系 metas…

使用screw-core生成数据库结构说明文档

官方项目地址: screw: 简洁好用的数据库表结构文档工具,支持MySQL/MariaDB/SqlServer/Oracle/PostgreSQL/TIDB/CacheDB 数据库。 数据库支持 MySQL MariaDB TIDB Oracle SqlServer PostgreSQL Cache DB(2016) H2 (开发…

文心智能体平台 | 想象即现实

目录 文心智能体平台介绍平台简介通过平台能做什么平台的优势智能体介绍智能体类型AI 插件介绍 动手创建一个智能体访问平台并进行账号注册根据适合的方式选择智能体类型快速创建智能体智能体个性化模块配置 总结注意事项我的智能体 文心智能体平台介绍 平台简介 文心智能体平…

产品推荐 | 基于Xilinx Zynq-7015 FPGA的MYC-C7Z015开发板

一、产品概述 基于 Xilinx Zynq-7015,双Cortex-A9FPGA全可编程处理器;PS部分(ARM)与PL部分(FPGA)之间采用AXI高速片上总线通信,吉比特级带宽,突破传统ARMFPGA架构的通信瓶颈,通过PL部分(FPGA)灵活配置丰富的外设接口&…

若依框架官网

RuoYi 若依官方网站 |后台管理系统|权限管理系统|快速开发框架|企业管理系统|开源框架|微服务框架|前后端分离框架|开源后台系统|RuoYi|RuoYi-Vue|RuoYi-Cloud|RuoYi框架|RuoYi开源|RuoYi视频|若依视频|RuoYi开发文档|若依开发文档|Java开源框架|Java|SpringBoot|SrpingBoot2.0…

LLM - 模型下载与 git-lfs 安装

目录 一.引言 二.安装 git lfs 1.使用 apt-get 安装 2.使用 Brew 安装 3.LFS 验证 三.总结 一.引言 在 HuggingFace 上下载模型时提供一个 git clone 的指令,执行后可以下载对应模型的模型文件: 但是本机还没有 git lfs 命令: git: lfs is not a git comman…

Google使用AI改进了 Sheets;开源视觉语言模型llama3v;开源情绪语音模型ChatTTS;

✨ 1: Google has improved Sheets with AI. Google 使用 AI 改进了 Sheets 您可以使用 Gemini 处理您的数据并将其变成老师。 优化您的数据 Gemini 了解您的数据并提出改进建议。 例如,它可以将重复数据转换为更实用的下拉框。 解释数据 通过单击双子座图标…

Windows下PostgreSQL数据库的备份与恢复

文章目录 一、备份1.找到PostgreSQL的安装目录下的"bin"目录2.在windows的命令窗口里,使用pg_dump进行备份1.打开命令窗口2.使用pg_dump将数据库备份下来 二、恢复1.找到PostgreSQL的安装目录下的"bin"目录2.在windows的命令窗口里,…