三个微调方向:简单医疗问答 临床问答 影像学 一般流程: 1 数据集准备 2 模型基座选择 3 微调 4 案例拆解 1 数据集准备:两种类型,一种文本一种影像 扩展,多模态 2 模型基座选择 多模态处理所有视频,文本,数字人将会受到威胁,数字人赛道 多模态处理将会对医疗领域有很大的促进 多模态的架构 整个影像大模型现阶段不太成熟,医疗领域的方案,各个医生的方案没有标准的方案,没有办法通用,不会被通用的大模型被替代掉。诊断虽然可能一样,但是治疗方案不太一样,只能将诊疗的阶段给呈现出来。增加知识库做一些知识对齐。 3 微调