DeepSeek-R1 的问世，无疑在 AI 领域激起了千层浪。自发布仅一周，它便凭借卓越的性能和创新的技术，成为 AI 社区热议的焦点，代表着人工智能在推理和理解能力上的重大飞跃。今天我们一起深度解析一下DeepSeek-R1
一、强大基石：DeepSeek-V3-Base 模型
DeepSeek-R1 能够取得如此成就，离不开其底层架构 ——DeepSeek-V3-Base 模型(DeepSeek-V3 深度剖析：下一代 AI 模型的全面解读)的有力支撑。这是一个拥有 6710 亿参数的大规模混合专家（MoE）语言模型，其规模在现存模型中名列前茅。
与传统的密集模型，如 ChatGPT 相比，DeepSeek-V3-Base 的工作方式截然不同。可以将其类比为一个拥有数百万本书籍的图书馆。在传统密集模型中，每当提出一个问题，模型就如同要打开图书馆里的每一本书来寻找答案，这种方式计算成本高昂且效率低下。而 DeepSeek-V3-Base 采用 MoE 架构，它不会去翻阅所有书籍，而是依据不同的主题，借助一组专门的 “专家书籍” 来寻找答案。在处理每个 token 时，仅有 370 亿参数被激活，这使得模型能够聚焦于一小部分经过高度训练的专家模块，从而快速且精准地给出答案。
此外，DeepSeek-V3-Base 在 14.8 万亿高质量 token 上进行了预训练，这些丰富的数据为模型奠定了坚实的基础，使其具备了强大的深度推理和理解能力，为 DeepSeek-R1 后续的优化和发展提供了广阔的空间。
二、进化之路：从 DeepSeek-R1-Zero 到 DeepSeek-R1
DeepSeek-R1 并非一蹴而就(DeepSeek R1：开启 AI 推理新时代的开源先锋)，它的前身是 DeepSeek-R1-Zero。二者均借助强化学习来提升推理能力，但在技术应用方式上存在差异，这也对它们的性能产生了重要影响。
DeepSeek-R1-Zero 基于 DeepSeek-V3-Base 构建，采用了广义强化策略优化（GRPO）框架来改进推理。在传统的强化学习中，主要包含策略模型（决定采取何种行动）和批评家模型（评估行动并提供反馈）两个核心组件。然而，批评家模型通常与策略模型规模相当，计算成本高昂，这给强化学习的训练带来了困难。
GRPO 则对这一过程进行了简化，它摒弃了单独的批评家模型。具体做法是利用旧策略生成一组输出，然后对这些输出进行集体评估，并随着时间推移不断改进。这就好比老师让学生写同一主题的作文，老师不逐一批改每篇作文，而是将整个班级的作文作为一个整体进行评估，将每篇作文与班级里最好的作文进行对比。最好的作文设定了一个基准，但目标是让所有作文都能逐渐改进，而不仅仅是模仿最好的那一篇。这种方式确保了模型能够稳步、渐进地提升，同时避免了不必要的计算负担。
尽管 DeepSeek-R1-Zero 在推理方面取得了显著进展，但它仍存在一些问题，例如在可读性和语言混合方面表现不佳。当处理复杂的语言任务时，它难以清晰、一致地呈现推理过程。为了解决这些问题，研发团队对 DeepSeek-R1-Zero 的流程进行了修订，从而催生了 DeepSeek-R1。
三、创新训练：打造卓越性能
DeepSeek-R1 (基于 DeepSeek R1 和 Ollama 开发 RAG 系统（含代码）)在训练过程中采用了多种创新方法，以提升其性能。在训练的起始阶段，使用高质量的推理数据对 DeepSeek-V3-Base 进行冷启动。这些数据来源丰富，具体包括：
- 少样本思维链提示示例
通过提供少样本思维链（CoT）示例，引导模型逐步分解问题，培养其结构化和逻辑化的推理能力。例如，在解决数学问题时，思维链示例可以展示解题的步骤和思路，帮助模型学会如何有条理地思考和解决问题。
- 直接明确指令提示
让模型接受详细指令的训练，确保其在执行任务时能够严格遵循指令，满足用户的期望，保证输出的一致性。比如在文本生成任务中，明确的指令可以规定生成内容的主题、风格、字数等要求，使模型生成的文本更符合用户需求。
- 优化 R1-Zero 的输出
对 DeepSeek-R1-Zero 生成的预测结果进行分析，筛选出最具可读性和准确性的示例，并将其纳入训练数据集，进一步优化模型的输出质量。
- 人工标注输出
由专业的人工标注人员对模型输出进行审核和完善，确保输出内容清晰、连贯，并符合高质量标准。
在模型具备了坚实的基础之后，便进入了基于 GRPO 的强化学习阶段。这一阶段引入了两种关键奖励机制：
- 准确性奖励
用于验证模型的回答是否正确。例如，在解决数学问题或编程挑战时，依据预定义的测试用例来判断模型的答案是否准确，只有回答正确才能获得准确性奖励，从而激励模型提高回答的正确性。
- 语言一致性奖励
确保模型输出的语言清晰、一致，有效解决了 DeepSeek-R1-Zero 中出现的语言混合问题。例如，在多语言文本生成任务中，模型生成的内容应保持语言风格和语法规则的一致性，避免出现语言混杂的情况。
经过强化学习阶段后，模型会生成一个检查点，标志着进入下一个训练阶段。从这个检查点开始，DeepSeek-R1 会进行数据优化，为监督微调（SFT）做准备。在推理数据收集方面，模型在强化学习阶段生成的预测结果会被送回 DeepSeek-V3 进行评估，过滤掉冗长、繁杂或语言混杂的输出，仅保留简洁、准确且结构良好的响应，最终形成了 60 万个与推理相关的样本，用于提升模型解决复杂问题和逻辑推理的能力。
在非推理数据收集方面，对于创意写作、事实问答、翻译和自我认知等非推理任务，DeepSeek-R1 部分复用了 DeepSeek-V3 现有的 SFT 数据集，挑选出约 20 万个高质量的非推理样本，以确保模型在多种应用场景中都能表现出色。这些数据共同构成了一个包含 80 万个样本的多样化高质量训练语料库，为监督微调提供了坚实的基础。
借助这些精心整理的数据集，DeepSeek-R1 会进行两个 epoch 的监督微调。这一阶段的主要目的是进一步优化模型的推理能力，使其输出更加逻辑清晰、简洁明了，同时提升在非推理任务中的表现，如事实问答和翻译等，确保能够输出一致的、高质量的结果。
在监督微调之后，DeepSeek-R1 进入了第二个强化学习阶段，该阶段聚焦于人类偏好。在这一阶段，主要关注三个核心目标：
- 有用性
模型若能生成与用户需求相关、具有可操作性且量身定制的回答，就会获得奖励。例如，在智能客服场景中，模型的回答应能切实帮助用户解决问题，提供有用的建议和信息。
- 无害性
对模型的整个输出进行评估，尽可能减少风险、偏差或潜在的有害内容。比如在内容生成任务中，避免生成包含歧视、暴力或虚假信息的内容。
- 优化回答
进一步微调模型的总结和结论，确保其清晰、精确且实用。例如，在文章摘要生成任务中，生成的摘要应准确概括原文核心内容，语言简洁易懂。
通过将人类偏好融入训练过程，DeepSeek-R1 逐渐演变成一个更安全、更高效、更可靠的人工智能助手。
四、卓越表现：多领域领先
经过上述精细的训练流程，DeepSeek-R1 在多个领域展现出了卓越的性能。在推理、编码、多语言任务等基准测试中，它都名列前茅。无论是处理英语语言任务、解决编码难题、解答数学问题，还是应对中文相关的任务，DeepSeek-R1 都能持续超越竞争对手，充分证明了其强大的能力，引领着人工智能发展的潮流。
例如，在数学问题解决方面，DeepSeek-R1 能够准确理解问题的含义，运用其强大的推理能力，快速给出正确的解题步骤和答案。在编码任务中，它可以根据给定的需求，生成高质量、可运行的代码，并且代码结构清晰、注释详细，展现出了出色的编程能力。在多语言任务中，无论是语言翻译还是跨语言文本理解，DeepSeek-R1 都能表现出良好的适应性和准确性，有效打破了语言障碍。
五、知识蒸馏：赋能小型模型
DeepSeek-R1 还具备一项令人瞩目的特性 —— 知识蒸馏。在这一过程中，DeepSeek-R1 就像一位 “老师”，为像 Qwen 和 Llama 这样的小型学生模型提供精心整理的训练数据。通过这种方式，这些小型模型能够学习到 DeepSeek-R1 的知识和经验，尽管它们规模较小，但在编码和数学等任务中也能表现出色。
以 DeepSeek-Llama-70B 为例，这一经过知识蒸馏的模型在各种基准测试中超越了许多竞争对手，充分展示了小型模型在借助大型模型知识的情况下，也能够实现高效运行并达到顶尖性能。知识蒸馏不仅提高了小型模型的性能，还为资源受限的场景提供了更可行的解决方案，拓展了人工智能技术的应用范围。
DeepSeek-R1 的出现，标志着人工智能在推理能力上迈出了重要一步。它融合了强化学习、混合专家架构以及前沿的训练技术，为人工智能的发展开辟了新的道路。其在多个领域的卓越表现，以及将知识蒸馏到更高效模型的能力，为人工智能的未来发展奠定了坚实基础。
