AI与智慧医疗的结合已是未来发展的必然趋势。近年来，国家卫健委推崇智慧医疗和AI技术，如智能导诊、预问诊、辅助诊断等，以提高医疗服务效率和诊断准确性，改善患者就医体验。

全诊通是一家专注于医疗SaaS和人工智能的公司，成立于2016年，其推出的基于大模型的全诊AI医疗服务智能体，覆盖患者服务、智能病例、决策辅助、医学教育等，为医疗客户提供”基础-模型、应用的一站式解决方案，旨在提升医疗服务的效率和质量。截止目前，全诊通的产品和方案已在16省成功应用，包括50+家大中型医院、100多个区县卫健局、15000+ 医疗机构。

01.

Milvus助力基于RAG的医学知识召回

Milvus作为整个RAG应用的向量搜索引擎及向量存储，将通用医疗知识+专有医院的医疗知识结合，服务医疗知识检索、问答场景、AI 辅助诊断等场景的RAG应用。

1.1 医疗场景下的知识问答

如“患者服务AI”应用，主要目的是减轻病人就医痛苦，为病患提供AI导诊、AI预诊、医学解答。

以就医导诊场景为例，在医院中有多个院区，病患问诊会涉及医院通用知识查询（如医院就诊流程查询、B超检查是否要空腹）和专有院区知识查询（如B超原因：消化系统问题还是妇科检查？），这就需要在全院和院区两个知识库中联合检索，以提高查询效率。Milvus为通用知识及专有院区知识建立不同分区（partition），用户咨询问题的时候，导诊系统就对这两个partition同时做search，再将结果合并反馈给大模型进行结果生成。

这将以往基于知识图谱的传统导诊升级为AI根据患者的具体描述，结合年龄、性别等信息，基于鉴别诊断逻辑对病患进行精准引导提问 ，AI基于对病情的诊断和医院科室信息的分析，精准推荐就诊科室。

例如，全诊通已经为某市第一人民医院提供了导诊+预问诊+门诊+住院+手术全场景应用，成为医生全能助手 。

1.2 AI辅助诊断

临床决策需要依赖大量医学知识和历史病例。不同医院因其类型和受众的特殊性，其擅长的领域、独特的治疗方案及对应的沉淀和规范也不尽相同，如科室通用编码、模板和优选患者病例数据，因此需要灵活的AI辅助诊断解决方案。全诊AI将各个医院/院区海量非结构化的医学文献、病例库、临床指南等数据Embedding后存入Milvus。医生在门诊接诊时，只需一键启动「全诊AI」，辅助诊断过程如下：

• AI自动记录医患对话，将语音embeding后进行语义提取；

• Milvus将对话语义信息作为Prompt在海量医疗指导数据特征数据中进行检索；

• 通过RAG技术快速找到与当前患者情况相关的信息生成为医生提供实时提醒与指导。

基于RAG的AI辅助诊断颠覆了医患交流方式，显著降低错误率，确保问诊决策的全面性、准确性、实时性。

1.3 医学图像的应用

医疗图像是医务工作中一块庞大的业务，如杭州某三甲医院每年需要处理几百万例超声检查。超声科医生在检查过程中需要同时使用双手进行操作，导致无法腾出手来写报告。为了解决这个问题，全诊AI提出了基于RAG技术和SFT（Supervised Fine-Tuning）技术结合的问答模型来提高这部分的工作效率。比如为超声图像识别和报告生成提供了一种高效、准确的端到端解决方案，实现了AI从服务患者到服务医生的转变。

RAG技术从外部知识库中检索相关的信息，并将其作为上下文提供给语言模型，增强了模型生成文本的能力。SFT技术则通过在少量已标注数据上进行再次训练与强化学习，进一步提升模型的适应性和准确性。

Milvus在这一过程中至关重要，主要负责存储和检索高维数据，如超声图像的向量表征，使得RAG技术能够快速从大量数据中检索出与查询最相关的信息。此外，Milvus还支持RAG技术在处理复杂查询和生成信息丰富的回答方面的能力，这对于医疗领域中的超声图像识别尤为重要，因为它需要准确理解和生成自然语言的指令。

这种方法可以释放掉写超声报告的双手，提高工作效率。同时，这种技术也可以应用于小医院，整体人效可以提升100%以上。

02.

医疗模式的升级带来业务效能提升

整个医疗模式从传统的知识图谱或基于专家系统规则库的方式转变为利用大型模型的新方法。而医疗模式的转变直接带来了整个医疗效能的提升。仍然以AI导诊为例，全诊通首席大模型架构师刘睿介绍道，传统AI导诊需要两个人以上一个月左右的时间完成系统设置，而现在实施时间缩短到一周左右。在人力和资源投入上，向量引擎起到了关键作用。

03.

未来探索：多模态的端到端的医疗大模型

未来，全诊通的产品目标是利用多模态技术赋能全诊AI成为医生和病患的全能助手。

过去，医院的超声模型主要采用传统的图像检测和分类技术，专注于识别图像内容、病变类型及其特性。未来，全诊通计划利用病例数据对模型进行训练。为了实现这一目标，未来将需要医疗单位将大量的病例数据存入向量数据库中，以便更有效地管理和检索这些数据。

04.

插曲：Milvus一直是向量检索场景的首选

提到为什么会选择Milvus，刘睿回忆道，在以往的工作经历中就他就接触到了Milvus，也调研了各个主流的向量检索平台，发现Milvus正好符合当时的业务需求，而选择的原因最重要的有以下三点：

• Milvus非常优秀，以高性能、低延迟、高QPS和强大的可扩展性而著称；

• 同时可以支持向量检索和标量过滤，既简化了查询操作，又提升了结果的准确性；

• 分区的支持，如电商很多业务场景需要做跨库查询，用分区查询来做类似跨库查询，能保持性能。比如：搜品牌词时，过程是跨类目的，单独在一个类目里搜其实是不够的，那么这对应到医疗问答也是一样的场景。

而后来当多个业务涉及到文本搜索、图像搜索及RAG场景时，Milvus都毫无悬念地成了刘睿的不二之选。

推荐阅读