《双流多依赖图神经网络实现精确的癌症生存分析》| 文献速递-基于深度学习的多模态数据分析与生存分析

Title

题目

Dual-stream multi-dependency graph neural network enables precise cancer survival analysis

《双流多依赖图神经网络实现精确的癌症生存分析》

01

文献速递介绍

癌症是全球主要的死亡原因,2020年约有1930万新发癌症病例和近1000万癌症相关死亡病例(Sung et al., 2021)。令人震惊的是,预计到2040年全球癌症负担将增加47%,达到2840万例(Sung et al., 2021)。鉴于癌症种类繁多,对各种器官和系统的影响各异,精准医学,特别是考虑到个体患者状况和癌症进展的生存分析,具有显著减少癌症流行并应对肿瘤异质性挑战的潜力,从而具有重要的临床和商业价值。

通常,基于组织病理学的生存分析依赖于在组织病理切片中目视检查和量化细胞形态、侵袭性或炎症/浸润的组织病理学改变/特征(Gurcan et al., 2009)。然而,由于全切片图像(WSI)的巨像素大小,这一过程对于病理学家来说非常耗时且劳动密集。此外,最终分析还受到病理学家主观经验和知识的影响,使预测结果不确定。在过去几年中,先进的全切片成像技术与深度学习技术的结合在基于组织病理WSI的生存分析中引起了显著的研究兴趣,提供了克服这些挑战的有希望的解决方案。与传统方法相比,计算病理学方法在效率、客观性、可重复性和远程诊断的可能性方面表现突出(Abels et al., 2019;Louis et al., 2016),这可能为缓解全球合格病理学家的严重短缺和区域不平衡提供新的视角。

Abstract

摘要

基于组织病理图像的生存预测旨在提供精确的癌症预后评估,并为个性化治疗决策提供信息,以改善患者的治疗效果。然而,现有的方法无法自动建模每张全切片图像(WSI)中众多形态多样的补丁之间的复杂相关性,从而阻碍了对患者状态的更深层次理解和推断。为了解决这个问题,我们提出了一种新的深度学习框架,称为双流多依赖图神经网络(DM-GNN),以实现精确的癌症患者生存分析。具体来说,DM-GNN通过特征更新和全局分析分支来更好地将每个WSI建模为基于形态亲和性和全局共同激活依赖关系的两个图。这两种依赖关系从不同但互补的角度描绘了每个WSI,DM-GNN的两个设计分支能够共同实现对补丁间复杂相关性的多视图建模。此外,DM-GNN还通过引入亲和性引导的注意力重新校准模块作为读出功能,增强了在图构建过程中对依赖信息的利用。这个新颖的模块提高了对特征扰动的鲁棒性,从而确保了更可靠和稳定的预测。在五个TCGA数据集上的广泛基准实验表明,DM-GNN优于其他最先进的方法,并基于高注意力补丁的形态描述提供了可解释的预测见解。总体而言,DM-GNN代表了一种强大且辅助的基于组织病理图像的个性化癌症预后工具,具有很大的潜力来帮助临床医生做出个性化的治疗决策,并改善患者的治疗效果。

Conclusion

结论

In this study, we have developed a novel dual-stream multidependency graph neural network, referred to as DM-GNN to improve histopathology image-based cancer patient survival analysis.Importantly, DM-GNN is capable of modeling the complex correlationsbetween numerous morphology-diverse patches in each WSI, therebyenabling a more profound understanding and inference of patients’survival status. More specifically, DM-GNN models the original WSIas two independent graphs with theoretically distinct dependencies,which focus on the morphological similarities and global co-activatingcorrelations, respectively. Leveraging such a strategy, DM-GNN cansuccessfully establish the deep correlations between patches from theglobal viewpoint, thereby being able to conduct a comprehensiveanalysis of each WSI. Moreover, we also propose a new affinity-guidedattention recalibration module to enable more robust node-level featureaggregation against noise from multiple perspectives. To assess theperformance and utility of the proposed DM-GNN framework, wehave performed extensive benchmarking experiments on five TCGAbenchmark datasets. We envision that the development and availabilityof the data-driven deep learning-based tools, such as DM-GNN proposedin this study, can be explored as powerful tools to facilitate communitywide efforts and inform clinical decision-making underpinning digitalpathology and precision oncology

在本研究中,我们开发了一种新的双流多依赖图神经网络,称为DM-GNN,以改进基于组织病理图像的癌症患者生存分析。重要的是,DM-GNN能够建模每个WSI中众多形态多样补丁之间的复杂关联,从而实现对患者生存状态的更深入理解和推断。更具体地说,DM-GNN将原始WSI建模为具有理论上不同依赖关系的两个独立图,分别关注形态相似性和全局共同激活相关性。利用这种策略,DM-GNN可以从全局视角成功建立补丁之间的深层关联,从而能够对每个WSI进行综合分析。此外,我们还提出了一种新的基于亲和性的注意力重新校准模块,以从多个角度增强对抗噪声的节点级特征聚合的鲁棒性。为了评估所提出的DM-GNN框架的性能和实用性,我们在五个TCGA基准数据集上进行了广泛的基准实验。我们设想,数据驱动的深度学习工具(如本研究中提出的DM-GNN)的开发和可用性可以作为强大的工具来促进社区范围内的努力,并为数字病理学和精准肿瘤学的临床决策提供信息。

Figure

图片

Fig. 1. Overview of the proposed dual-stream multi-dependency graph neural network (DM-GNN). The framework comprises pre-processing operations to convert WSIs into bags offeatures and feed-forward computation to predict hazard rates. Regarding the network, it is constructed by the feature updating branch and global analysis branch for representationgeneration and affinity-guided attention recalibration module for graph-level feature aggregation. Eventually, one linear layer will predict the risk of each patient.

图1. 所提出的双流多依赖图神经网络(DM-GNN)的概述。该框架包括预处理操作,将WSI转换为特征包,并进行前馈计算以预测风险率。网络方面,它由特征更新分支和全局分析分支构成,用于表示生成和基于亲和性的注意力重新校准模块,用于图级特征聚合。最终,通过一个线性层来预测每个患者的风险。

图片

Fig. 2. Kaplan–Meier survival curves of our proposed DM-GNN and ground truth across five cancer types. High-risk and low-risk patients are represented by red and blue lines,respectively. The x-axis shows the time in months and the y-axis presents the probability of survival. The log-rank test is used to evaluate the statistical significance in survival distributions between low-risk and high-risk patients (P-Value < 0.05).

图2. 我们提出的DM-GNN与五种癌症类型的真实数据的Kaplan-Meier生存曲线。高风险和低风险患者分别由红色和蓝色线表示。x轴显示时间(月),y轴表示生存概率。使用log-rank检验评估低风险和高风险患者生存分布的统计显著性(P值 < 0.05)。

图片

Fig. 3. Attention visualization of DM-GNN on two WSIs in high-risk and low-risk cohorts from the TCGA-BLCA dataset. (a,d), (b,e) and (c,f) present the segmented WSIs,attention-mapped WSIs, and high-attention patches, respectively. Particularly, experienced pathologists depict the morphological features of the attention patches, revealing theprediction insights of the trained model.

图3. DM-GNN在TCGA-BLCA数据集中高风险和低风险队列的两个WSI上的注意力可视化。(a,d)、(b,e)和(c,f)分别展示了分割后的WSI、注意力映射的WSI以及高注意力补丁。特别是,有经验的病理学家描述了注意力补丁的形态特征,揭示了训练模型的预测见解。

图片

Fig. 4. Case study of the WSI from TCGA-GBMLGG dataset in terms of segmented WSI (a), attention WSI (b), affinity matrix (c), and attention matrix (d).

图4. TCGA-GBMLGG数据集中WSI的案例研究,包括分割后的WSI (a)、注意力WSI (b)、亲和矩阵 (c) 和注意力矩阵 (d)。

Table

图片

Table 1 Data details of the BLCA, BRCA, GBMLGG, LUAD and UCEC datasets with CS, US,and AP representing censored samples, uncensored samples and average patches,respectively.

表1 BLCA、BRCA、GBMLGG、LUAD和UCEC数据集的详细数据,其中CS、US和AP分别代表删失样本、未删失样本和平均补丁数。

图片

Table 2 Performance comparison with state-of-the-art methods on TCGA datasets in terms of c-index.

表2 在TCGA数据集上与最先进方法在c-index方面的性能比较。

图片

Table 3Analysis of the number of local prototypes on TCGA datasets in terms of c-index.

表3TCGA数据集上基于c-index的局部原型数量分析。

图片

Table 4 Ablation study on the TCGA-GBMLGG, TCGA-LUAD and TCGA-UCEC datasets. Specifically, we evaluate the significance of the proposed FUB, GAB, and AARM in terms of c-index

with detail.

表4 在TCGA-GBMLGG、TCGA-LUAD和TCGA-UCEC数据集上的消融研究。具体来说,我们评估了所提出的FUB、GAB和AARM在c-index方面的详细意义。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/45229.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Java】Idea运行JDK1.8,Build时中文内容GBK UTF-8编码报错一堆方块码

问题描述 在Windows系统本地运行一个JDK1.8的项目时&#xff0c;包管理用的Gradle&#xff0c;一就编码报错&#xff08;所有的中文内容&#xff0c;包括中文注释、中文的String字面量&#xff09;&#xff0c;但程序还是正常运行。具体如下&#xff1a; 解决 1. Idea更改编…

通讯录-C/C++

问题描述 设计一个通讯录管理程序&#xff0c;要求程序采用模块化设计方法&#xff0c;程序应采用由主控程序调用各模块实现各个功能的方式。程序应具有如下功能&#xff1a;输入记录、显示记录、查找记录、插入记录、记录排序、删除记录等。数据存储采用外存存储形式&#xff…

C++——类和对象(上)

文章目录 一、类的定义1.类定义格式2.访问限定符3.类域 二、实例化1.实例化概念2.对象⼤⼩ 三、 this指针 一、类的定义 1.类定义格式 与定义结构体类似 class ST {//成员变量int val;//成员函数void print(){cout << val << endl;}};class为定义类的关键字&…

SQL笔试题【数据岗】

视频号数据分析组外包招聘笔试题时间限时 45 分钟完成 题目 根据 3 张表表结构&#xff0c;写出具体求解的 SQL 代码 &#xff08;搞笑品类定义&#xff1a;视频分类或者视频创建者分类为“搞笑”&#xff09; l 题目 1&#xff1a;输出一张搞笑品类 dws 表&#xff0c;用于分…

从 QWebEnginePage 打印文档

QWebEnginePage 是 Qt WebEngine 模块中的一个类&#xff0c;它提供了用于处理网页内容的接口。如果你想要打印 QWebEnginePage 中的内容&#xff0c;你可以使用 QPrinter 和 QPrintDialog 类来实现。 项目配置了 Qt WebEngine 模块&#xff0c;并且在你的.pro文件中包含了相应…

el-date-picker 禁用 之前 和 之后 的时间

<el-date-pickerv-model"ruleForm.startTime"type"date"placeholder"请选择"format"YYYY-MM-DD"value-format"YYYY-MM-DD":disabled-date"pickerOptions"clearable/>const pickerOptions (time) > { if…

解析 pdfminer pdfparser.py

解析 pdfminer pdfparser.py 1. 导入必要的模块2. 定义PDFParser类2.1 初始化方法2.2 设置文档方法2.3 处理关键词方法举例说明: 3. 定义PDFStreamParser类3.1 初始化方法3.2 刷新方法3.3 处理关键词方法 总结 今天我们来看一段Python代码,这段代码实现了一个PDF文件的解析器。…

Python项目开发实战,掷硬币的连胜,案例教程编程实例课程详解

在Python中进行实战项目,比如模拟掷硬币并记录连胜次数,是一个既有趣又能加深理解随机数生成、循环控制、条件判断等编程基础的好方法。下面,我将逐步引导你完成一个详细的Python项目,该项目将模拟掷硬币的过程,并追踪记录连胜的次数,同时我们会深入探讨一些编程概念,如…

查看尝试登服务器ssh 访问ip地址

不指定时间查看尝试登录服务器的SSH访问IP地址 # CentOS/RHEL系统 zgrep "sshd" /var/log/secure-* | grep "Failed password" | awk {print $(NF-3)} | sort | uniq -c | sort -nr | head -n 10检查过去7天的日志尝试登录服务器的SSH访问IP地址 # CentOS…

AutoMQ vs Kafka: 来自小红书的独立深度评测与对比

测试背景 当前小红书消息引擎团队与 AutoMQ 团队正在深度合作&#xff0c;共同推动社区建设&#xff0c;探索云原生消息引擎的前沿技术。本文基于 OpenMessaging 框架&#xff0c;对 AutoMQ 进行了全面测评。欢迎大家参与社区并分享测评体验。 01 测试结论 本文主要测评云…

AI克隆声音,基于函数计算部署GPT-Sovits语音生成模型

阿里云的 https://developer.aliyun.com/adc/scenario/808348a321844a62b922187d89cd5077 还是 函数计算 FC (aliyun.com) 选择 语音克隆生成 GPT-SOVITS 通过访问域名就能访问 就可以上传个人的声音&#xff0c;然后进行输出 。

【逆向基础】十、逆向工具分享之DIE(Detect It Easy)

一、简介 DIE&#xff08;Detect It Easy&#xff09;是一款可以轻松检测PE文件的程序&#xff1b;其主要作用是查壳&#xff0c;并将pe文件的内容解析出来&#xff0c;包括PE文件中包含的导入函数、导出函数的名称及地址&#xff0c;入口函数地址等&#xff0c;是技术人员分析…

C# —— 数组的告诫查询方法

查询数组元素的方法 1.通过索引值找元素 a[0] 2.通过循环进行遍历 查询数组的每一个元素 int[] a1 new int[] { 1, 2, 3 }; Console.WriteLine(a1[0]);// 通过循环进行遍历 查询数组的每一个元素 for (int i 0; i < a1.Length; i) {// Console.WriteLine(a1[i]); } 3 in…

nuPlan 是一个针对自动驾驶车辆的闭环机器学习(ML-based)规划基准测试

nuPlan: A closed-loop ML-based planning benchmark for autonomous vehicles nuPlan 是一个针对自动驾驶车辆的闭环机器学习&#xff08;ML-based&#xff09;规划基准测试 Abstract In this work, we propose the world’s first closed-loop ML-based planning benchmar…

乐观锁原理

乐观锁是一种并发控制的方法&#xff0c;主要用于多线程环境下&#xff0c;用于保证数据的一致性。其核心思想是&#xff1a;"在多个事务中乐观地读取数据&#xff0c;在提交时再验证是否有冲突&#xff0c;如果没有&#xff0c;则提交&#xff1b;如果有&#xff0c;则回…

Excel第30享:基于辅助列的条件求和

1、需求描述 如下图所示&#xff0c;现要统计2022年YTD&#xff08;Year To Date&#xff1a;年初至今日&#xff09;各个人员的“上班工时&#xff08;a2&#xff09;”。 下图为系统直接导出的工时数据明细样例。 2、解决思路 Step1&#xff1a;确定逻辑。“从日期中提取出…

sqlmap确定目标/实操

安装kali&#xff0c;kali自带sqlmap&#xff0c;在window系统中跟linux系统操作有区别 sqlmap是一款自动化SQL工具&#xff0c;打开kali终端&#xff0c;输入sqlmap&#xff0c;出现以下界面&#xff0c;就说明sqlmap可用。 sqlmap确定目标 一、sqlmap直连数据库 1、直连数据库…

26.Labview波形图、XY图、强度图使用精讲

我们如何使用Labview显示曲线或者制作出下面这种我们想要的曲线并随着我们输入值的变化而变化呢&#xff1f; 本文详细讲解一下每种波形图的使用方式&#xff0c;帮助大家深入了解波形图的使用技巧。 文章中所有程序均可在百度网盘下载&#xff0c;下载方式&#xff1a;复制下…

GPT生成文本的实际案例 - Transformer教程

大家好&#xff0c;今天我们要聊一聊一个非常有趣的话题——GPT生成文本的实际案例&#xff0c;并且通过这篇文章来了解一下Transformer教程。这些技术在自然语言处理&#xff08;NLP&#xff09;领域掀起了巨大的波澜&#xff0c;不仅改变了我们与计算机交互的方式&#xff0c…

单件s_instance作为类成员静态变量与函数静态局部变量的区别

在C中&#xff0c;静态成员变量和静态局部变量虽然都是静态的&#xff0c;但它们的作用和使用方式有明显的区别&#xff1a; 1. **静态成员变量**&#xff1a; - 静态成员变量是类的一部分&#xff0c;它是类的所有实例对象共享的&#xff0c;只有一份拷贝。通常在类的声明…