一、大模型模型发展路线退

二、DeepSeek V2-V3/R1技术原理

DeepSeek V2、V3 和 R1 模型架构优化要点：

1、‌DeepSeek V2‌

• 混合专家架构（DeepSeekMoE）‌：采用细粒度专家划分与共享专家机制，总参数规模达236B但仅激活21B参数，降低计算冗余‌34。‌
• ‌多头潜在注意力（MLA）‌：通过低秩压缩优化Key-Value矩阵计算，结合旋转位置编码（RoPE），减少推理显存占用‌14。
• ‌训练数据扩展‌：预训练阶段使用8万亿token数据，通过平衡不同领域的数据采样提升模型泛化能力‌3。

2、‌DeepSeek V3‌

• 参数规模与效率平衡‌：总参数扩展至671B，结合动态稀疏激活机制，仅激活37B参数，实现更高性能与更低推理成本‌24。‌
• 动态专家选择优化‌：基于输入内容自适应分配计算资源，增强对复杂任务（如数学推理、代码生成）的适应性‌15。‌
• ‌多令牌预测（MTP）‌：在训练阶段同时预测多个未来token，提升模型对上下文逻辑关系的捕捉效率‌45。

3、‌DeepSeek R1‌‌

• ‌检索增强生成（RAG）架构‌：采用双模块设计（检索模块+生成模块），结合外部知识库提升生成内容的准确性与实时性‌15。‌‌
• 强化学习策略‌：通过GRPO框架和人类反馈强化学习（RLHF），优化模型对齐能力与安全性‌25。‌‌
• 轻量化推理优化‌：结合DeepSeek-V3的稀疏激活特性，在AIME 2024等测试中实现接近GPT-4的性能但成本更低‌12。
  ‌

演进关系‌：

• V2到V3的核心升级在于参数扩展（236B→671B）、动态专家选择优化以及MTP训练目标的引入‌24；‌
• R1基于V3的基础架构，强化检索增强生成与轻量化推理能力，聚焦垂直领域的高效应用‌

三、DeepSeek效应

四、未来展望

视频链接：https://www.bilibili.com/video/BV1TzNVepEgY/?spm_id_from=333.337.search-card.all.click&vd_source=8066b0fe558a3d040eb762ed70ba335a