论文摘要

论文标题为“PediatricsGPT: Large Language Models as Chinese Medical Assistants for Pediatric Applications”，提出了一种用于儿科应用的中文大模型助手。为了解决现有大模型在儿科应用中表现欠佳的问题，作者构建了一个高质量的数据集 PedCorpus，并提出了一个系统的训练流程来构建 PediatricsGPT。这包括持续预训练、全参数监督微调、人类偏好优化和参数高效的二次微调。通过实验证明，PediatricsGPT 在多项儿科任务上优于之前的中文医疗大模型。

主要方法

1. PedCorpus 数据集构建：

   • 包含来自儿科教科书、指南和知识图谱的 30 万多条指令数据。
   • 数据涵盖单轮和多轮医疗对话，以确保医疗知识的准确性。

2. 训练流程：

   • 持续预训练（CPT）：引入混合指令预训练机制，解决大模型在医疗领域适应中的知识不一致性问题。
   • 全参数监督微调（FSFT）：通过全面参数监督微调将通用医疗知识架构融入模型中。
   • 人类偏好优化（DFPO）：优化生成类似儿科医生的人性化响应。
   • 参数高效的二次微调（PSFT）：采用通用-特定专家策略解决医学通识和儿科专业知识之间的能力冲突。

主要贡献

1. 构建了高质量的 PedCorpus 数据集，满足多种诊断需求。
2. 提出了 PediatricsGPT，首个专门针对儿科的中文大模型助手。
3. 通过系统的训练流程，包括持续预训练、全参数监督微调、人类偏好优化和二次微调，提升了模型的医疗知识和对话生成能力。
4. 实验结果表明 PediatricsGPT 在多个儿科任务上均优于现有的中文医疗大模型。

创新点

1. 混合指令预训练机制：在持续预训练阶段引入，解决大模型内部注入知识和医疗领域适应中的不一致性问题。
2. 直接跟随偏好优化：在人类偏好对齐中增强响应的鲁棒性和对人类偏好的对齐。
3. 通用-特定专家策略：通过 LoRA 实现，用于解决医学通识和儿科专业知识之间的能力冲突。

方法的长处和弱点

长处：

1. 高质量数据集：PedCorpus 数据集覆盖广泛，包含了多维度的儿科知识。
2. 系统的训练流程：从预训练到微调，整个流程设计严谨，确保了模型的高性能。
3. 实验验证充分：通过多项实验证明模型的有效性和优越性。

弱点：

1. 依赖大规模计算资源：训练流程复杂，需要大量计算资源和时间。
2. 领域适应性有限：虽然在儿科领域表现出色，但在其他医疗领域的适应性仍需进一步验证。

总结

论文通过构建高质量的儿科数据集 PedCorpus 和设计系统的训练流程，提出了 PediatricsGPT，大大提升了模型在儿科医疗任务中的表现。该研究为发展智能儿科咨询系统提供了新的思路和方法，有望在医疗服务中发挥重要作用。

论文下载地址

链接：https://pan.quark.cn/s/1158e4f444ce