临床推理 + 大模型，推理感知型诊断框架

• • 提出背景
  • • Module II-1: 少数样本CoT推理
    • Module II-2: 单模态学生蒸馏
    • Module II-3: 多模态学生蒸馏

 

---

提出背景

论文：https://arxiv.org/pdf/2312.07399.pdf

 

这篇文章提出了一种新的诊断框架，专注于利用大型语言模型(LLMs)进行临床推理以改进疾病诊断。

推理感知型诊断框架是一种结合了人类临床推理方式和大型语言模型（LLMs）能力的诊断方法。

它不仅依赖于直接的病症识别，还通过模拟医生的推理过程来提供诊断。

这种方法能够解释其推理过程，从而增加医生和患者对机器学习模型判断的信任。

推理感知型诊断框架概览：

该框架有三个组成部分：

• 使用LLMs进行少数样本推理，模型使用少数例子来生成推理和诊断。
• 单模态蒸馏，使用一个参数小于7B的精调语言模型（LM）。
• 多模态蒸馏，使用一个参数小于7B的精调视觉-语言模型（VLM），可能结合文本和图像数据进行诊断。

Module II-1: 少数样本CoT推理

• 特征: 利用LLMs在少数样本情境下通过CoT（思维链条）提示进行逻辑推理的能力。
• 逻辑链: 这个子模块首先生成一个临床推理Rˆ，然后基于这个推理和病人描述P预测疾病诊断Dˆ。这个过程是顺序的，意味着先生成推理，再做出诊断。
• 目的: 探索LLMs在临床诊断领域的应用，尤其是如何通过逻辑推理来提升疾病诊断的准确性。

CoT 用LLMs的能力，通过生成自然语言的理由来指导和解释解决方案，模拟临床专业人员的推理过程。这种推理是为了弥补传统深度学习模型在临床推理方面的缺失，特别是它们缺乏提供诊断解释的能力。

推理感知型诊断（Reasoning-aware Diagnosis）： 本质上，这是针对疾病诊断的链式思维推理的具体应用。

在临床推理的背景下，这意味着模型不仅基于患者数据进行诊断，而且还能生成解释其推理路径的理由，从而提供更透明的诊断过程。

上图，使用临床推理进行病人诊断的模型输入和输出的示例。

模型输入包括病人的描述，如年龄、教育、婚姻状况、迷你精神状态检查得分、APOE4基因的存在，以及MRI扫描结果显示有严重的杏仁核和内侧颞叶萎缩。

模型输出提供了一个临床推理，引用相关知识来指导和解释诊断。

在这个示例中，基于提供的证据和推理，患者被诊断为轻度认知障碍。

Module II-2: 单模态学生蒸馏

• 特征: 使用LLMs生成的临床推理来训练更小的语言模型，这些小模型能够在实际应用中更便捷地部署。
• 逻辑链: 这个子模块通过最小化生成损失LLM-Distill来训练语言模型，这个过程包括用临床数据和对应的推理来优化模型。
• 目的: 将大型语言模型的推理能力转移到更小、更实用的模型中，使其能够在现实世界的临床设置中使用。

Module II-3: 多模态学生蒸馏

• 特征: 考虑到临床诊断经常涉及医学图像，此子模块扩展了知识蒸馏到视觉-语言模型（VLMs），这些模型能够处理文本和图像输入。
• 逻辑链: 给定病人描述P和对应的MRI扫描V，VLM被训练来基于这些输入顺序预测临床推理R和诊断D，通过最小化损失LVLM-Distill来学习。
• 目的: 在临床诊断中整合多模态数据（文本和图像），通过更小的模型实现高效的推理和诊断。

从理解临床数据的需求出发，通过链式思维推理生成理由，再到利用这些理由进行精确诊断，最后通过模型蒸馏确保这一过程可以在实际临床环境中高效运行。

 

假设诊断阿尔茨海默病（AD）的诊断，我们有一个患者的数据，包括：

• 文本描述：来自MRI扫描的描述，指出患者有严重的海马体萎缩。
• 人口统计信息：患者年龄、性别等。
• 教育水平：患者受教育年数。
• 迷你精神状态检查（MMSE）结果：一种常用的认知功能评估工具。
• APOE4基因的存在：与阿尔茨海默病风险增加相关的基因。

在传统的疾病诊断模型中，可能直接根据这些数据使用图像或文本分类来预测患者是否患有阿尔茨海默病、轻度认知障碍（MCI）或正常认知。

而在推理感知型诊断框架中，处理过程如下：

1. 生成临床推理（R）：首先，LLM会根据患者数据生成一个临床推理，解释为什么根据提供的信息，特定的诊断是有道理的。

   例如，模型可能会生成一个推理：“考虑到患者的海马体萎缩程度，结合其年龄、MMSE评分下降，以及APOE4基因的存在，这些都是阿尔茨海默病的典型指标。”

2. 预测诊断（D）：接着，模型会使用这个推理来做出诊断决策。

   在这个例子中，基于推理，模型可能会预测患者患有阿尔茨海默病。

这种方法的优势在于，它不仅提供了一个诊断结果，还给出了达到这个结论的逻辑路径。

这种透明的推理过程与医生分析患者信息时的思考过程相似，可以帮助医生更好地理解和信任模型的判断，同时也为患者提供了更加详细和透明的信息。