多模态融合 + 慢病精准预测

多模态融合 +慢病精准预测

慢病预测算法拆解
子解法1：多模态数据集成
子解法2：实时数据处理与更新
子解法3：采用大型语言多模态模型（LLMMs）进行深度学习分析

慢病预测更多模态

论文：https://arxiv.org/pdf/2406.18087

演示：https://www.youtube.com/watch?v=oqmL9DEDFgA

传统的慢性病诊断涉及与医生面对面的咨询以识别疾病。然而，缺乏研究集中在使用临床笔记和血液测试值预测和开发应用系统。

我们收集了台湾医院数据库2017至2021年的五年电子健康记录（EHRs）作为人工智能数据库。

开发了一个基于大型语言多模态模型（LLMMs）的慢性病预测平台。

这个平台可以与前端网页和移动应用集成，还能连接到医院的后端数据库，提供实时的风险评估诊断。

我们使用多种模态数据，来处理常见的慢性疾病，如糖尿病、心脏病和高血压，进行多模态模型训练。

以及使用了大模型，如BERT 、BiomedBERT、Flan-T5-large-770M 和 GPT-2 作为文本特征提取器。

在高血压的预测中，所有模型的表现都相对较低，其中BERT和BiomedBERT的精确度和F1分数均为0.35和0.32，而GPT-2的表现最差，精确度为0.29，F1分数为0.25。
对于心脏病的预测，GPT-2表现最好，精确度为0.81，召回率为0.85，F1分数为0.83。BiomedBERT也表现良好，其精确度、召回率和F1分数分别为0.76、0.75和0.75。
在糖尿病分类上，GPT-2与BiomedBERT表现较好，GPT-2的精确度为0.70，召回率为0.71，F1分数也为0.70；而BiomedBERT的召回率达到0.72，F1分数为0.67。
结论是，在临床记录，文本特征提取器，每个大模型在不同慢病上，效果都不同。最好是专门子领域微调过的。

接下来，我们将单一模态的临床笔记作为输入到LLMMs中，提取文本特征嵌入，并使用注意力模块将它们融合，用于最终的预测任务。

在这里插入图片描述
Web平台的四个主要界面：

开发一个能够实时预测和警报慢性病风险的医疗诊断系统，以提高患者管理效率并支持临床决策。

解法涉及整合多模态数据以提高慢性病预测的准确性。

特征：慢性病的预测需要综合多种数据源（如临床笔记、实验室测试结果）来增强预测模型的信息丰度。

对于血液测试数据，构建了一个深度神经网络（DNN）来获取血液表示。

为了更好地整合这两种模态，我们使用了多头注意力层来计算来自两个领域的嵌入的注意力得分和矩阵。

最后，采用全连接层来预测多种疾病。

特征：慢性病管理需求对数据的时效性极高，需要系统能够实时处理和更新数据。

特征：LLMMs能够处理和理解大规模和复杂的数据集，适用于提取临床文本和实验室数据中的关键特征。

在阅读和理解了文章内容之后，可以看到背后的模式是通过技术集成和数据智能处理来增强医疗预测系统的效能。

体现了医疗信息技术领域中对实时、精确医疗决策支持系统的需求增长。

例如，将实时数据处理与多模态数据分析相结合，可以实现更为动态和精准的疾病管理，这在处理慢性病如糖尿病或心血管疾病时尤为重要。

在慢性病预测中，考虑多模态数据是非常有益的，因为这可以显著增加预测的精确度和全面性。

以下是一些重要的数据模态，它们在慢性病预测中可以提供关键信息：

临床笔记和医疗记录：这些文本数据提供了患者的详细病史，包括症状描述、治疗反应、以及医生的观察和推论。
实验室测试结果：血液、尿液等生化检测结果提供了关于患者生理状况的具体量化数据，如血糖、胆固醇、肝功能指标等。
影像医学数据：包括X光、MRI、CT扫描等影像资料，这些图像数据能帮助评估器官的结构和功能状况，对于诊断如癌症、心脏病等疾病尤为重要。
生理监测数据：如心电图、血压监测、血糖监测等连续的生理参数监测，可以提供关于患者状况的实时数据。
可穿戴设备数据：随着技术的发展，越来越多的健康相关数据可以通过可穿戴设备收集，如活动量、心率、睡眠质量等，这些数据有助于理解患者的生活习惯和日常健康状况。
遗传信息：基因数据可以揭示个体对特定疾病的易感性，对于预测遗传性疾病或评估疾病风险具有重要价值。