Nature系列｜病理人工智能综述以及模型的可解释性分析

小罗碎碎念

文献日推主题：病理AI综述&模型可解释性分析

今天准备了四篇文章，感觉之前一次推六篇，多了点，以后都这个标准了。

前三篇都是nature reviews系列的大综述，其中两篇是不区分癌种的，第三篇是专研肝癌的病理AI综述；第四篇是一篇npj digital medicine的有关于模型可解释性分析的文章，除了SHAP、注意力机制以及热图等等，文中还提到了一个增量显著性图，不妨好好了解一下。

一、人工智能在组织病理学中的应用与前景

一作&通讯

作者角色	作者姓名	单位名称（中文）
第一作者	Cagla Deniz Bahadir	康奈尔大学生物医学工程系，康奈尔科技，纽约，纽约州，美国
通讯作者	Mert R. Sabuncu	康奈尔大学电子与计算机工程系，康奈尔科技，纽约，纽约州，美国

文献概述

这篇文章综述了人工智能（AI）在组织病理学（histopathology）中的应用进展、挑战和未来机遇，展示了AI技术如何助力临床决策和病理诊断的转型。

组织病理学是医学中至关重要的诊断学科，对于我们理解、检测、评估和治疗疾病（如癌症、痴呆和心脏病）具有基础性作用。传统上，组织病理学的工作流程主要依赖于人类专家在光学显微镜下对组织样本的视觉解读。自2000年代以来，得益于全切片成像（whole-slide imaging, WSI）等扫描技术的进步，组织病理学正在经历数字化转型。数字数据的快速增长促进了人工智能方法的发展和应用。

文章深入探讨了AI方法在组织病理学中的最新进展，这些方法有望提供准确、可扩展、有用且经济的临床决策支持工具。文章检查了该领域的挑战和机遇，探索了塑造该领域的历史性方法和问题，同时突出了即将重新定义其未来的最新技术突破。此外，文章还提供了推动组织病理学AI方法发展的公开可用数据集的概述。

文章分为几个部分，包括：

引言
组织病理学中的机器学习方法、模型
机器学习任务
挑战
目标和机遇
结论

作者们讨论了在数字病理学中使用的不同类型的AI任务，如检测和分类，这些通常使用在数据集上训练的机器学习（ML）模型来解决。AI在数字病理学中的应用已经开始改变该领域，例如通过提供自动化的临床决策支持工具、增强的预后预测和临床试验的定量终点。

文章还讨论了在组织病理学中使用的机器学习算法、建模选择和任务，并展望了该领域的未来，包括面临的主要挑战、目标和机遇。文章强调，作为一门数据丰富的学科，数字病理学对物理资源的需求不同于其他计算机视觉领域。此外，医疗保健中的实际期望要求稳健的性能，并且可能需要既能被人类用户解释和信任，又能被监管机构审核和验证的技术。

最后，文章指出，AI在数字病理学中的应用有潜力彻底改变传统的组织病理学工作流程，但与计算机视觉的其他领域不同，组织病理学由于其数据丰富的特性，对物理资源提出了巨大需求。真实世界的医疗保健需求需要稳健、公平的AI性能，这些性能可以被人类用户解释和信任，同时也满足监管机构的审核和验证要求。

重点关注

图1展示了人工智能（AI）集成的病理诊断工作流程的示意图。

图中黄色框（第一行）代表了一个典型患者的就医过程，从最初的就诊经历，通过诊断、治疗，最终到长期的治疗结果。

病理学家的核心工作流程以浅蓝色显示，其中包括手动通过显微镜检查用苏木精和伊红（H&E）染色的样本，同时结合其他辅助性的临床和分子数据（标示为“其他数据”），以得出明确的诊断。

诊断结果为进一步的临床决策制定（治疗计划）和预测任务（如预后和结果预测）提供了基础。人工智能（AI）以红色（底行）表示，有潜力增强工作流程的每一步，从工作流程优化到辅助人类病理学家的决策支持工具，再到发现新的数字生物标记物，这些生物标记物有助于优化治疗选择和预后判断。

分析：

患者就医过程：涉及患者从初次就诊到长期治疗结果的整个路径。
病理学家工作流程：包括对H&E染色样本的显微镜检查和辅助数据的综合分析，以确定最终诊断。
诊断的重要性：诊断是制定治疗计划和进行预后预测的基础。
AI的辅助作用：AI技术可以在多个层面辅助病理诊断工作流程，包括：
- 工作流程优化：提高病理诊断过程的效率。
- 决策支持工具：辅助病理学家进行更准确的诊断和治疗决策。
- 数字生物标记物的发现：有助于个性化治疗和预后评估。

这个流程图强调了AI技术在病理诊断中的多功能性和潜在价值，预示着AI在医疗领域的广泛应用前景。

二、从组织图像到临床决策：人工智能在病理学中的转型作用

一作&通讯

角色	姓名	单位（中文）
第一作者	Andrew H. Song	哈佛医学院布里格姆和妇女医院病理科
第一作者(共同)	Guillaume Jaume	哈佛医学院布里格姆和妇女医院病理科
通讯作者	Faisal Mahmood	哈佛医学院布里格姆和妇女医院病理科

注意：这里只列出了主要的单位。其他单位包括麻省总医院、哈佛-麻省理工学院博德研究所、达纳-法伯癌症研究所、麻省理工学院电气工程与计算机科学系、哈佛-麻省理工学院健康科学与技术部和哈佛大学数据科学计划等。由于表格空间有限，这里只列出了主要的单位信息。

文献概述

这篇文章综述了人工智能在数字和计算病理学中的应用，包括自动化临床诊断、预测患者预后、治疗反应以及发现新的组织图像生物标志物的潜力和挑战。

文章讨论了组织切片数字化的进步和人工智能（包括深度学习）快速发展如何推动计算病理学领域。该领域有潜力自动化临床诊断、预测患者预后和治疗反应，并从组织图像中发现新的形态生物标志物。一些基于AI的系统现在已获批准以协助临床诊断，但技术障碍仍然存在，阻碍了它们作为研究工具的广泛临床采用和整合。

主要部分：

引言：介绍了计算病理学（CPath）的概念及其在临床实践中的应用潜力。
深度学习在CPath中的应用：讨论了深度学习在预测临床终点（如癌症亚型、患者生存或基因突变）的方法学贡献，以及作为辅助工具引导和支持病理学家和研究者的方法。
组织预处理：描述了组织切片数字化的过程，以及如何通过分割和打补丁技术来处理这些高分辨率图像。
多重实例学习在WSI上的应用：探讨了如何使用多重实例学习（MIL）来处理整个幻灯片图像（WSIs）的分类任务。
人工智能辅助工具：讨论了深度学习在开发AI辅助工具方面的应用，这些工具可以提取WSIs中的可操作对象和表示，用于随后的临床或研究使用。
解释性CPath：强调了深度学习方法的可解释性对于建立AI系统和病理学家之间的信任关系的重要性。
CPath的临床影响：讨论了CPath在自动化临床工作流程和使用该工作流程的数据获得新见解方面的两个主要目标。

结论：尽管CPath取得了显著进展，但仍存在挑战和机遇，需要在数据采集和处理、开发新的AI方法以及临床部署的转化考虑方面取得进展。

文章强调了CPath在提高临床实践效率和推动病理学研究方面的潜力，并展望了该领域未来的发展方向。

重点关注

Fig. 4展示了计算病理学（CPath）如何整合到病理学中，其任务主要分为两大类：自动化现有的病理常规流程和指导生物医学研究。

这两类任务都依赖于全切片图像分类系统、基于人工智能的辅助工具（如分割网络），或两者的结合。

a部分强调了CPath在自动化方面的应用，它替代了病理学家日常繁重的手动工作，比如有丝分裂计数和癌症亚型分类任务，减轻了病理学家的负担并减少了观察者间的变异性。

b部分讨论了CPath在临床实践之外的应用，即作为生物医学研究的框架，例如发现与分子变化相关联的形态学特征和不同的风险/反应组。文中提到的MIL（多重实例学习）是一种机器学习方法，它在CPath中用于从整个切片图像中预测临床终点，如疾病诊断和分子变化。

简而言之，Fig. 4描述了CPath在提高病理学诊断效率和促进生物医学研究方面的双重作用。

三、AI辅助下的肝癌精准医疗：现状与挑战

一作&通讯

作者角色	作者姓名	单位名称	中文翻译
第一作者	Julien Calderaro	Département de Pathologie, Assistance Publique Hôpitaux de Paris, Groupe Hospitalier Henri Mondor, Créteil, France	法国巴黎公立医院集团亨利蒙多尔医院病理学系
通讯作者	Jakob Nikolas Kather	Else Kroener Fresenius Center for Digital Health (EKFZ), Medical Faculty Carl Gustav Carus, TUD Dresden University of Technology, Dresden, Germany	德国德累斯顿工业大学卡尔古斯塔夫卡鲁斯医学院，Else Kroener Fresenius数字健康中心

文献概述

这篇文章综述了人工智能在肝癌研究和临床管理中的快速发展、应用潜力以及面临的挑战。

背景：肝癌全球发病率和死亡率高，AI技术快速发展并在癌症治疗中得到应用。AI系统已经被批准用于某些肿瘤类型的临床应用，例如结直肠癌筛查。
AI在肝癌研究中的应用：研究表明AI能够分析肝癌的组织病理学、放射学和自然语言，并且能够替代手工任务，从临床数据中获取隐藏信息。然而，这些应用在肝癌领域尚未大规模转化为临床试验或临床批准产品。
AI方法的分类：文章提出了一个AI在肝癌研究中应用的分类体系，突出了学术和商业潜力领域，并概述了基于AI的肝癌管理政策，包括对研究人员、临床医生和患者的跨学科培训。
AI的潜力和挑战：尽管AI在肝癌治疗中的潜力巨大，但需要努力确保AI能够满足期望。AI可以帮助在肝癌的不同阶段进行管理，包括组织病理学诊断、预后预测、治疗响应预测等。
当前AI技术：文章讨论了AI在组织病理学诊断、放射学图像分析、自然语言处理和基因组学中的应用，并提出了多模态AI模型的概念，这些模型可以同时处理多种类型的数据。
临床转化的挑战：AI在临床应用中面临的挑战包括不同患者群体的多样性、临床决策树的变化、以及高质量证据的生成。
加速AI应用的策略：包括提高AI素养、生物标志物开发、政策建议、以及对AI潜在风险的认识和管理。
结论：AI在管理原发性肝癌方面是一个活跃的研究领域，尽管存在许多未满足的临床需求，但AI的应用前景广阔。需要克服的挑战包括AI模型的严格评估、解释性方法的开发以及医疗专业人员和患者对AI的信任。

文章强调了AI技术在提高肝癌诊断准确性、促进研究和临床试验、个性化治疗计划、风险分层和预后评估以及降低医疗成本方面的潜力。同时，文章也指出了在实现这些好处之前需要克服的挑战，包括确保AI模型的公平性、有效性和可解释性，以及对医疗工作者进行AI相关的教育和培训。

重点关注

图2提供了原发性肝癌诊断过程中不同影像学检查方法及其后续步骤的概览。

通常首先进行MRI、CT或对比增强超声（CEUS）等放射学成像检查，当影像学结果不明确时，会进行组织病理学评估。

典型的肝细胞癌（HCC）在动脉期（CT扫描，左侧；“wash-in”，蓝箭号）显示高强度增强，在门静脉期（CT扫描，右侧；“wash-out”，蓝箭号）与肝脏其他部分相比显示低信号。肝内胆管癌（iCCA）在动脉期（MRI扫描，白色箭头）显示周边增强。

从组织学角度看，HCC通常表现为具有假腺样结构的微梁状结构，但肿瘤具有高度异质性，其他亚型，如脂肪性肝炎性（HCC组织学，左侧）也得到了广泛认可。iCCA显示肿瘤细胞排列在纤维基质中的腺体内。由于混合性肝细胞-胆管癌（cHCC-CCA）对放射科医师和病理学家来说诊断最具挑战性，因此影像学和常规组织病理学通常需要免疫组化的支持。

分析如下：

放射学成像：在肝癌诊断中，首先使用MRI、CT和CEUS等方法进行成像，这些方法可以揭示肝脏中的异常区域。
HCC的影像特征：肝细胞癌在动脉期呈现快速的血管充盈（wash-in），在门静脉期则相对周围肝脏组织呈现低信号（wash-out）。
iCCA的影像特征：肝内胆管癌在动脉期显示为周边增强，这有助于其在影像学上的识别。
病理学评估：当影像学结果不明确或难以诊断时，会通过组织病理学评估来确定肿瘤类型。
HCC的组织学特征：HCC在显微镜下通常呈现微梁状结构和假腺样形成，但存在高度异质性，意味着不同区域可能有不同的细胞和结构特征。
iCCA的组织学特征：iCCA的组织学特征是肿瘤细胞在纤维基质中形成腺体结构。
cHCC-CCA的诊断挑战：混合性肝细胞-胆管癌在影像学和组织学上都难以诊断，通常需要免疫组化等辅助技术来协助诊断。

四、医学成像中的可解释人工智能：多模态与纵向数据的挑战与协调

一作&通讯

角色	姓名	单位名称（中文）
第一作者	Aurélie Pahud de Mortanges	伯尔尼大学，ARTORG 生物医学工程研究中心，瑞士
通讯作者	Mauricio Reyes	伯尔尼大学医院，放射肿瘤科，伯尔尼大学，瑞士

文献概述

这篇文章综述了医学成像中可解释人工智能（XAI）在处理多模态和纵向数据方面的最新进展、挑战以及提出的XAI协调器概念。

文章强调了XAI在处理多模态和纵向数据时的重要性，并从临床角度审视了XAI的现状和挑战。作者提出了“XAI协调器”这一概念，旨在帮助临床医生综合多模态和纵向数据、AI预测结果以及相应的可解释性输出。

XAI的需求和重要性：随着基于AI的放射学支持系统在临床实践中的普及，其“黑箱”特性的限制促使人们更加需要XAI。XAI能够提供对AI模型的洞察，增强医生的效能和患者的安全。
多模态和纵向数据的挑战：在医疗诊断和治疗决策中，通常需要综合所有相关信息。多模态数据（如图像、文本、实验室测量等）的融合为深度学习任务提供了前景，但也带来了解释上的挑战。
XAI方法的讨论：文章讨论了多模态数据融合的好处，以及如何通过XAI技术提供有影响力的特征。同时，也讨论了现有XAI方法的局限性，如对不同数据类型的适用性和领域知识的需求。
XAI协调器的提出：为了应对多模态和纵向XAI的复杂性，作者提出了XAI协调器的概念。这是一个能够协调、组织和口头解释特定AI模型的实例，提供以用户为中心的机制，以便医生进一步询问操作多模态和纵向数据的AI模型。
XAI协调器的期望属性：包括适应性、层次性、交互性、不确定性意识等。
XAI协调器的功能和评估指标：提出了XAI协调器应具备的功能，如信息融合、任务分类和场景模拟，并讨论了评估XAI解释“良好性”的指标。
未来实施XAI协调器的可能性：讨论了如何使用现有的变换器对不同模态的数据进行编码，并使用大型语言模型（LLM）作为XAI协调器的解码器。
XAI的未来发展：文章强调了将XAI方法从技术研究转移到临床实施的必要性，并提出了涉及临床领域专家在XAI系统设计和开发中的重要性。