临床应用的深度学习在视网膜疾病的诊断和转诊中的应用| 文献速递-视觉通用模型与疾病诊断

Title

题目

Clinically applicable deep learning for diagnosis

and referral in retinal disease

临床应用的深度学习在视网膜疾病的诊断和转诊中的应用

01

文献速递介绍

诊断成像的数量和复杂性正在以比人类专家可用性更快的速度增加。人工智能在分类一些常见疾病的二维照片方面表现出了巨大的潜力,通常依赖于数百万张带注释的图像数据库。直到现在,在三维诊断扫描的实际临床路径中达到或超过专家临床医师性能的挑战仍未解决。在这里,我们将一种新颖的深度学习架构应用到了一组临床异质的来自一家主要眼科医院转诊患者的三维光学相干断层扫描中。我们证明了在仅训练了14,884次扫描后,我们的模型在制定转诊建议方面达到或超过了专家对一系列威胁视力的视网膜疾病的表现。此外,我们证明了我们的架构产生的组织分割作为一种设备独立的表示;当使用来自不同类型设备的组织分割时,转诊准确性得到了保持。我们的工作消除了在真实世界环境中跨多种病理学使用的先前障碍,而无需繁琐的训练数据要求。

Results

结果

Clinical application and AI architecture. We developed our architecture in the challenging context of OCT imaging for ophthalmology. We tested this approach for patient triage in a typical ophthalmology clinical referral pathway, comprising more than 50 common diagnoses for which OCT provides the definitive imaging modality (Supplementary Table 1). OCT is a threedimensional volumetric medical imaging technique analogous to three-dimensional ultrasonography but measuring the reflection of near-infrared light rather than sound waves at a resolution for living human tissue of ~5µm

临床应用和AI架构。我们在眼科OCT成像的具有挑战性的背景下开发了我们的架构。我们在一个典型的眼科临床转诊路径中测试了这种方法,该路径包括了超过50种常见诊断,其中OCT提供了确定性的成像模态(附录表1)。OCT是一种三维体积医学成像技术,类似于三维超声成像,但测量的是近红外光的反射,而不是声波,其分辨率为约5µm,适用于活体人组织。

Figure

图片

Fig. 1 | Our proposed AI framework. a, Raw retinal OCT scan (6 × 6 × 2.3 mm³ around the macula). b, Deep segmentation network, trained with manually segmented OCT scans. c, Resulting tissue segmentation map. d, Deep classification network, trained with tissue maps with confirmed diagnoses and optimal referral decisions. e, Predicted diagnosis probabilities and referral suggestions.

图1 | 我们提出的AI框架。a, 原始视网膜OCT扫描(在黄斑周围6×6×2.3mm³)。b, 深度分割网络,使用手动分割的OCT扫描进行训练。c, 结果组织分割地图。d, 深度分类网络,使用具有确认诊断和最佳转诊决策的组织地图进行训练。e, 预测的诊断概率和转诊建议。

图片

Fig. 2 | Results of the segmentation network. Three selected two-dimensional slices from the n= 224 OCT scans in the segmentation test set (left) with manual segmentation (middle) and automated segmentation (right; detailed color legend in Supplementary Table 2). a, A patient with diabetic macular edema. b, A patient with choroidal neovascularization resulting from age-related macular degeneration (AMD), demonstrating extensive fibrovascular pigment epithelium detachment and associated subretinal fluid. c, A patient with neovascular AMD with extensive subretinal hyperreflective material. Further examples of the variation of pathology with model segmentation and diagnostic performance can be found in Supplementary Videos 1–9. In all examples the classification network predicted the correct diagnosis. Scale bars, 0.5 mm.

图2 | 分割网络的结果。分割测试集中224个OCT扫描的三个选定的二维切片(左)与手动分割(中)和自动分割(右;详细的颜色图例见附录表2)。a, 患有糖尿病性黄斑水肿的患者。b, 因年龄相关性黄斑变性(AMD)引起的脉络膜新生血管,显示广泛的纤维血管素上皮脱离和相关的视网膜下液体。c, 患有新生血管型AMD,具有大量视网膜下高反射物质。在所有示例中,分类网络预测了正确的诊断。比例尺,0.5mm。

图片

Fig. 3 | Results on the patient referral decision. Performance on an independent test set of n= 997 patients (252 urgent, 230 semi-urgent, 266 routine, 249 observation only). a, ROC diagram for urgent referral (for choroidal neovascularization (CNV)) versus all other referrals. The blue ROC curve is created by sweeping a threshold over the predicted probability of a particular clinical diagnosis. Points outside the light blue area correspond to a significantly different performance (95% confidence level, using a two-sided exact binomial test). The asterisk denotes the performance of our model in the ‘balanced performance’ setting. Filled markers denote experts’ performance using OCT only; empty markers denote their performance using OCT, fundus image and summary notes. Dashed lines connect the two performance points of each expert. b, Confusion matrices with patient numbers for referral decision for our framework and the two best retina specialists. These show the number of patients for each combination of gold standard decision and predicted decision. The numbers of correct decisions are found on the diagonal. Wrong decisions due to overdiagnosis are in the bottom-left triangle, and wrong decisions due to underdiagnosis are in the top-right triangle. c, Total error rate (1 − accuracy) on referral decision. Values outside the light-blue area (3.9–7.3%) are significantly different (95% confidence interval, using a two-sided exact binomial test) to the framework performance (5.5%). AUC, area under curve.

图3 | 患者转诊决策结果。对包括252例紧急、230例半紧急、266例常规和249例仅观察的独立测试集中的997名患者的性能进行评估。a, 对于紧急转诊(用于脉络膜新生血管(CNV))与所有其他转诊的ROC图。蓝色ROC曲线通过在特定临床诊断的预测概率上扫描阈值而创建。在浅蓝色区域之外的点对应于显着不同的性能(使用双侧精确的二项检验,95%置信水平)。星号表示我们模型在“平衡性能”设置下的性能。实心标记表示专家仅使用OCT的性能;空心标记表示他们使用OCT、眼底图像和摘要笔记的性能。虚线连接了每位专家的两个性能点。b, 转诊决策的混淆矩阵及患者数量,显示了每个标准决策和预测决策的患者数量。对角线上是正确决策的数量。由于过度诊断而导致的错误决策在左下三角形中,由于欠诊而导致的错误决策在右上三角形中。c, 转诊决策的总错误率(1-准确率)。在浅蓝色区域之外的值(3.9-7.3%)与框架性能(5.5%)显着不同(使用双侧精确的二项检验,95%置信区间)。AUC,曲线下面积。

图片

Fig. 4 | Generalization to a new scanning device type. a, Low performance of original network on OCT scans from the new device type 2. Left, the selected slice shows the different appearance of structures in device type 2. Middle, a poor quality segmentation map created with our original segmentation network (color legend in Supplementary Table 2). Right, resulting performance on a new test set of n= 116 patients. The confusion matrix shows patient numbers for the referral suggestion. b, All five segmentation hypotheses from our original network. The strong variations show the large uncertainty. c, High performance was attained on the device type 2 test set (n= 116) after retraining the segmentation network with OCT scans from device type 1 and device type 2. The classification network is unchanged. d, All five segmentation hypotheses from the retrained segmentation network. The network is confident in the interpretation of most structures, and just highlights the ambiguities in the sub-retinal pigment epithelium (RPE) space. Scale bars: 0.5 mm.

图4 | 对新扫描设备类型的泛化性能。a, 原始网络在来自新设备类型2的OCT扫描上的低性能。左边,选定的切片显示了设备类型2中结构的不同外观。中间,使用我们的原始分割网络创建的质量差的分割地图(颜色图例见附录表2)。右边,对新测试集(n=116名患者)的结果。混淆矩阵显示了转诊建议的患者数量。b, 我们原始网络的所有五个分割假设。强烈的变化显示了大的不确定性。c, 通过使用设备类型1和设备类型2的OCT扫描重新训练分割网络,在设备类型2测试集(n=116)上实现了高性能。分类网络保持不变。d, 重新训练的分割网络的所有五个分割假设。网络对大多数结构的解释都很自信,只是突出了亚视网膜色素上皮(RPE)空间的不确定性。比例尺:0.5mm。

图片

Fig. 5 | Visualization of the segmentation results as thickness maps. a, The average intensity projection of the OCT scan along A-scan direction (frontal view of the eye) is overlaid with a thickness map of the fibrovascular pigment epithelium detachment (PED, red segment). b, Screenshot from our OCT viewer. First row (left), referral suggestion, tissue volumes and diagnosis probabilities. The highlighted bars correspond to the selected segmentation model. First–third rows, thickness maps of the 10 relevant tissue types from segmentation model instance 2. The two healthy tissue types (high level retina and RPE) are displayed in a black–blue–green–brown–white color map, the pathological tissues (all others) are displayed as overlay on a projection of the raw OCT scan. The thin white line indicates the position of slice 80. Fourth row, slice 80 from the OCT scan and the segmentation map from segmentation model instance 2. Detailed tissue legend in Supplementary Table 2. The slice and model instance can be interactively selected .

图5 | 分割结果的厚度图可视化。a, 沿着A扫描方向(眼睛的前视图)的OCT扫描的平均强度投影与纤维血管素上皮脱离(PED,红色段)的厚度图叠加在一起。b, 我们OCT查看器的屏幕截图。第一行(左侧),转诊建议、组织体积和诊断概率。高亮的条形对应于所选的分割模型。第一至第三行,来自分割模型实例2的10种相关组织类型的厚度图。两种健康组织类型(高级视网膜和RPE)以黑-蓝-绿-棕-白色图显示,病理组织(其他所有组织)显示为覆盖在原始OCT扫描投影上。细白线表示切片80的位置。第四行,来自OCT扫描的切片80和分割模型实例2的分割图。详细的组织图例请参见附录表2。切片和模型实例可以交互式选择。

Table

图片

Table 1 | Number of training scans and achieved performance on the two device types

表1 | 两种设备类型上的训练扫描数量和达到的性能

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/25096.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

归并排序-成绩输出-c++

注:摘自hetaobc-L13-4 【任务目标】 按学号从小到大依次输入n个人的成绩,按成绩从大到小输出每个人的学号,成绩相同时学号小的优先输出。 【输入】 输入第一行为一个整数,n,表示人数。(1 ≤ n ≤ 100000…

【Node.js快速部署opencv项目】图像分类与目标检测

⭐️我叫忆_恒心,一名喜欢书写博客的研究生👨‍🎓。 如果觉得本文能帮到您,麻烦点个赞👍呗! 近期会不断在专栏里进行更新讲解博客~~~ 有什么问题的小伙伴 欢迎留言提问欧,喜欢的小伙伴给个三连支…

高考之后第一张大流量卡应该怎么选?

高考之后第一张大流量卡应该怎么选? 高考结束后,选择一张合适的大流量卡对于准大学生来说非常重要,因为假期期间流量的使用可能会暴增。需要综合考虑多个因素,以确保选到最适合自己需求、性价比较高且稳定的套餐。以下是一些建议…

BM算法举例

BM算法概述 Boyer-Moore算法(BM算法)是一种高效的字符串匹配算法。它通过在匹配过程中尽可能多地跳过不必要的字符比较来加速搜索过程。BM算法主要利用两个启发规则:坏字符规则(Bad Character Rule)和好后缀规则(Good Suffix Rule)。 以下是Boyer-Moore算法的Python实现…

【Python机器学习】非负矩阵分解(NMF)

非负矩阵分解(NMF)也是一种无监督算法,其目的在于提取有用的特征。它的工作原理类似于PCA,也可以用于降维。与PCA相同,我们试图将每个数据点写成一些分量的加权求和。但在PCA中,我们想要的是正交分量&#…

Linux——PXE整体流程

1.自己安装一个CentOS 8的服务器 1)手动安装 虚拟硬件配置:2核CPU,4G内存,100G硬盘 2个网卡(一个通外网,一个内部使用) 软件安装:Server GUI 磁盘分区:使用逻辑卷&#…

小黑狗AI:新媒体AI创作的得力助手

在当前内容创作爆炸的时代,如何高效、优质地输出内容备受重视。小黑狗AI凭借强大的AI技术,专注于为新媒体内容创作者提供智能化的辅助工具,旨在成为创作者们最听话、最贴心的AI助手。 专注新媒体AI创作,争做最听话的AI工具:小黑狗AI 功能一览 小黑狗A…

Django API开发实战:前后端分离、Restful风格与DRF序列化器详解

系列文章目录 Django入门全攻略:从零搭建你的第一个Web项目Django ORM入门指南:从概念到实践,掌握模型创建、迁移与视图操作Django ORM实战:模型字段与元选项配置,以及链式过滤与QF查询详解Django ORM深度游&#xff…

中心极限定理的MATLAB例

独立同分布的中心极限定理: 设 X 1 , X 2 , … , X n X_1, X_2, \ldots, X_n X1​,X2​,…,Xn​ 是独立同分布的随机变量序列,且 E ( X i ) μ E(X_i) \mu E(Xi​)μ, D ( X i ) σ 2 > 0 D(X_i) \sigma^2 > 0 D(Xi​)σ2>0&a…

《C++ Primer Plus》第十三章复习题和编程练习

目录 一、复习题**二、编程练习 一、复习题** 1. 派生类从基类那里继承了什么? 答:在类的继承和派生中,C中的派生类能够继承基类的所有数据成员和大部分成员函数。但是基类中不同访问控制权限的成员在派生中的访问权限也不相同。公有成员直…

【GIT】git submodule add 命令的使用技巧,亲测可行

在Git中,git submodule add 命令用于将一个外部的Git仓库作为子模块添加到当前的Git仓库中。子模块允许你将一个Git仓库作为另一个Git仓库的子目录。这在你需要将一个项目的一部分作为另一个项目的依赖时非常有用。 使用 git submodule add 命令的基本语法如下&…

快速将字符串转换为python数据类型

可以使用 python 中的 eval() 函数,举例如下,我需要将大模型输出字符串转换为 numpy 数据类型 import numpy as np import ast# 原始字符串 s "[(-0.014,0.009),(0.005,-0.027),(-0.008,0.006),(-0.014,0.014)]"# 安全地解析字符串中的表达式…

陆面生态水文模拟与多源遥感数据同化技术

原文链接:陆面生态水文模拟与多源遥感数据同化技术 了解陆表过程的主要研究内容以及陆面模型在生态水文研究中的地位和作用;熟悉模 型的发展历程,常见模型及各自特点;理解Noah-MP模型的原理,掌握Noah-MP 模型在单 站和区域的模拟、模拟结果的…

如何将AndroidStudio和IDEA的包名改为分层级目录

新版UIAndroidStudio 1、点击项目目录右上角如图所示的三个点点。 2、然后依次取消Hide empty middle package ,Flatten package的勾选 3、注意:一定要先取消hide的勾选,不然目录不会完全分级(做错了可以反过来重新设置&#x…

物资材料管理系统建设方案(Word)—实际项目方案

二、 项目概述 2.1 项目背景 2.2 现状分析 2.2.1 业务现状 2.2.2 系统现状 三、 总体需求 3.1 系统范围 3.2 系统功能 3.3 用户分析 3.4 假设与依赖关系 四、 功能需求 4.4.11.7 非功能性需求 五、 非功能性需求 5.1 用户界面需求 5.2 软硬件环境需求 5.3 产品质量需求 5.4 接口…

lua中大数相乘的问题

math.maxinteger * 2 --> -2 原因:math.maxinteger的二进制 : 0111111111111111111111111111111111111111111111111111111111111111 往左移位,最右加一个0,是 1111111111111111111111111111111111111111111111111111111111111…

物联网8大协议介绍及对比

一.物联网主流协议介绍 1.MQTT 协议 MQTT(Message Queuing Telemetry Transport)即消息队列遥测传输。 MQTT 协议最初是在 1999 年由 IBM 公司开发的,用于将石油管道上的传感器与卫星相连接。2014 年正式成为 OASIS 开放标准。 MQTT 使用…

矩阵练习1

73.矩阵置零 这道题相对简单。 首先我们需要标记需要置零的行和列,可以在遍历矩阵中的元素遇到0,则将其行首和列首元素置为0。在此过程中首行、首列会受影响,因此先用两个变量记录首行、首列是否需要被置0,接着遍历非首行、非首…

【面试八股总结】死锁:产生条件、预防死锁、处理死锁、避免死锁

一、什么是死锁? 死锁是指两个(或多个)线程互相等待对方数据的过程,死锁的产生导致程序卡死,不解锁程序将永远⽆法进⾏下 去 二、死锁产生条件 死锁只有同时满足以下四个条件才会发生:互斥条件&#xff1b…

ABC 357 G Stair-like Grid

link 其实是我之前写的一篇博客的推广 大意: 一个阶梯型,第 i i i行有 ⌈ i / 2 ⌉ ∗ 2 \left \lceil i/2 \right \rceil*2 ⌈i/2⌉∗2个方块,总共有n行。在其中给定 m m m个点无法经过,求从左上角到右下角的方案数。其中每次移…