本文介绍了一种名为“M³Care”的模型，旨在处理多模态医疗保健数据中的缺失模态问题。这个模型是端到端的，能够补偿病人缺失模态的信息，以执行临床分析。M³Care不是生成原始缺失数据，而是在潜在空间中估计缺失模态的任务相关信息，利用来自具有相似未缺失模态的其他病人的辅助信息。该模型通过任务引导的模态适应性相似性度量来找到相似的病人，并据此进行临床任务。实验表明，M³Care在多种评估指标上超越了现有的基线模型，并且其发现与专家意见和医学知识一致，显示出提供有用见解的潜力。【开放源码】

一.论文概述

1. 端到端模型设计：M³Care是一个端到端的模型，能够直接处理具有缺失模态的患者数据，补偿这些缺失信息，以执行临床分析。

2. 任务相关信息的估计：与传统方法不同，M³Care不是直接生成原始缺失数据，而是在潜在空间中估计缺失模态的任务相关信息。这种方法避免了直接处理原始数据的不稳定性和复杂性。

3. 利用相似患者的辅助信息：M³Care模型通过任务引导的模态适应性相似性度量来识别相似的患者，并利用这些相似患者的未缺失模态数据来估计目标患者的缺失信息。

4. 临床任务的有效执行：模型能够利用估计出的任务相关信息来有效执行临床任务，如疾病诊断或预后预测。

5. 实验验证：作者通过在真实世界数据集上的实验，展示了M³Care在各种评估指标上优于现有基线模型的性能，并且其发现与专家意见和医学知识一致，显示出提供有用见解的潜力。

二.模型结构

• Unimodal Representation Extraction：使用不同的特征抽取模型抽取各自模态特征，图上很清楚，不赘述。

• Similar Patients Discovery and Information Aggregation：包含如下：

  • task-guided modality-semantic-adaptive similarity metric：使用特殊的核函数方法度量，而不是传统的余弦相似度。

    $k_{{\omega }_m}\left({\mathrm{h}}_i^m,{\mathrm{h}}_j^m\right)=\left[\left(1-{\delta }_m\right)k\left({\varphi }_{{\omega }_m}\left({\mathrm{h}}_i^m\right),{\varphi }_{{\omega }_m}\left({\mathrm{h}}_j^m\right)\right)+{\delta }_m\right]q\left({\mathrm{h}}_i^m,{\mathrm{h}}_j^m\right)$

    1. 核函数 $k_{{\omega }_m}\left({\mathrm{h}}_i^m,{\mathrm{h}}_j^m\right)$：这个函数用于计算两个患者在特定模态$m$中特征表示的相似度。这里， ${\mathrm{h}}_i^m$和 ${\mathrm{h}}_j^m$分别表示第 $i$和第 $j$ 个患者在模态 $m$中的特征表示。
    2. 混合项：公式中的第一个部分$\left(1-{\delta }_m\right)k\left({\varphi }_{{\omega }_m}\left({\mathrm{h}}_i^m\right),{\varphi }_{{\omega }_m}\left({\mathrm{h}}_j^m\right)\right)$，其中 ${\varphi }_{{\omega }_m}$ 是一个转换函数，将原始特征空间映射到一个新的空间，以便更好地捕捉相似度。${\delta }_m$是一个模态特定的调整参数，它决定了在核函数中保留多少原始特征空间的信息。
    3. 权重项 ${\delta }_m$：这个参数调节着在相似度计算中原始特征空间和转换后空间的相对重要性。它的值在 0 和 1 之间，用于平衡两种不同的相似度计算方式。
    4. 附加项$q\left({\mathrm{h}}_i^m,{\mathrm{h}}_j^m\right)$：这个项用于在相似度计算中添加额外的信息，可能是基于特定模态 $m$ 的特定特征或考虑的其他因素

  • 信息聚合：

    $\begin{array}{c}\tilde{\Pi }=\frac{{\sum }_1^M{\Pi }^m\cdot {\mathrm{mask}}^m}{{\sum }_1^M{\mathrm{mask}}^m+ϵ}\\ {\tilde{\Pi }}_{i,j}=\{\begin{array}{cc}{\tilde{\Pi }}_{i,j}& \text{ if }{\tilde{\Pi }}_{i,j}>\Lambda \\ 0& \text{ if }{\tilde{\Pi }}_{i,j}\le \Lambda \end{array}\end{array}$

    1. $\tilde{\Pi }$：这代表最终聚合后的结果。
    2. ${\sum }_1^M{\Pi }^m\cdot {\mathrm{mask}}^m$：这里，${\Pi }^m$ 表示第 $m$ 个模态的某种计算结果或特征表示，而 ${\mathrm{mask}}^m$ 是一个掩码（mask），用于指示第 $m$个模态是否可用或重要。掩码通常是二进制的（0或1），用于选择性地考虑（或忽略）特定模态。
    3. ${\sum }_1^M{\mathrm{mask}}^m+ϵ$：分母是对所有模态的掩码求和，再加上一个小常数 $ϵ$（通常接近0）以避免除以零的情况。这种求和确保了当某些模态缺失时，计算结果仍然是有意义的。
    4. ${\tilde{\Pi }}_{i,j}$：这是聚合后的结果矩阵中的一个元素，代表第 i个样本和第 $j$个样本之间的某种度量。
    5. 条件语句：这里的条件语句用于应用一个阈值 $\Lambda$。如果 ${\tilde{\Pi }}_{i,j}$的值大于阈值 $\Lambda$，它将被保留；如果小于或等于$\Lambda$，则将该值设置为0。这种方法用于过滤掉那些低于特定重要性水平的元素。

​ 总体来说，这个公式描述了一个两步过程：首先是结合多个模态的信息，然后通过应用阈值来过滤和精细化结果。目标是通过合并来自相似患者的辅助信息来推断模态缺失样本。因此，为了聚合来自相似的信息，将一批患者的表示表示为每个模态中的一个图，相似度矩阵$\tilde{\Pi }$作为图的邻接矩阵(即，然后使用图卷积层(GCN)，利用结构信息增强表示学习。

• Adaptive Modality Imputation:
• Multimodal Interaction Capture：这部分没有什么好说，就是常规Transformer融合多模态特征。

三.数据集

Ocular Disease Intelligent Recognition (ODIR) Dataset and Ophthalmic Vitrectomy
(OV) Dataset 眼病智能识别(ODIR)数据集和眼科玻璃体切除术(OV)数据集

四 .实验结果