医学知识和医疗应用开发交叉领域中垂类大语言模型应用相关研究

前言：

基于公司对LLM落地的期望，此proposal尚未研究完毕，只是简单做了一些消息整合和建议。

关于知识细节详见末尾Refs

背景：

随着LLM（大语言模型）的爆火，不少企业都在寻找通过LLM解决企业业务问题的方法，以达到降本增效的效果。但是，当面对较为复杂的业务问题（如：背景资料多、问题分类多、条件判断复杂、涉及模块多等）时，以LLM当前的发展程度，仅通过简单的LLM对话交互，是无法有效地解决此类问题的，原因在于，LLM也有自身的能力限制，如幻觉、上下文等。

ChatGPT在医学医学知识和医疗应用开发交叉领域中的局限性：

1.1. 缺乏可靠性和准确性：由于ChatGPT是基于大量文本数据训练而成的，它可能会生成一些错误或不合适的内容，需要人类进行核对和修改。

1.2. 缺乏逻辑性和连贯性：由于ChatGPT是基于局部上下文生成内容的，它可能会忽略全局的逻辑结构和主题一致性，需要人类进行调整和补充。

1.3. 缺乏原创性和创新性：由于ChatGPT是基于已有的文本数据生成内容的，它可能会重复或抄袭一些已有的内容，需要人类进行检测和避免。

2、ChatGPT在医学写作中的伦理考虑：分析了ChatGPT在医学写作中涉及到的伦理问题，包括：

2.1. 版权法律问题：使用ChatGPT生成内容可能会侵犯原作者或出版商的版权，需要遵守相关法律规定，并给出合适的引用或声明。

2.2. 医疗法律问题：使用ChatGPT生成内容可能会影响医疗决策或结果，需要承担相应的法律责任，并保证内容的真实性、有效性和安全性。

2.3. AI透明度问题：使用ChatGPT生成内容可能会造成读者或用户对AI来源或质量的不了解或误解，需要提供清晰的标识或说明，并保证内容的可解释性、可信度和可控性。

生物医学领域应用大模型的范式。

由难到易分别是：

从头开始预训练（pre-train from scratch）
继续训练通用大模型（further pre-train from general LLMs）
各种指令/任务微调（instruction tuning, etc）
提示词工程（prompt engineering）

细化到单个公司体来说，市面上垂类大预言模型的局限性：

1.有限的上下文窗口

2.组织内的知识信息经常散落在各个系统或文档内，难以统筹管理。

3. LLM 缺少特定领域知识

再细化到医疗软件开发人员的痛点：

1. 知识整合

2. 结构化数据与非结构化数据

3. 第三方应用与 API

回到应用范式, 对于公司来说，需要在最短时间内利益最大化。性价比较为高的方式是“各种指令/任务微调（instruction tuning, etc）” 或者使用 提示词工程（prompt engineering）

一种可能的解决方案：

GPTbot产品提出的RAG（retrieval augmented generation）系统，以FLOW的方式（搭建工作流）将复杂多变的业务问题简化并抽象为多个“节点”和“流程”，并通过可视化编排 workflow方式，让多个专职LLM并行/串行工作，各司其职，从而快速地搭建起一个Bot，并立即应用于实际业务问题场景中。

BOT