大模型与AIGC应用相关问题模型大型

最近经常被问，你看“万亿的模型都出来了，你们训练的千亿模型是不是落伍了？”我想说：“虽然都叫超大模型，但是类型是不一样的，虽说每一类模型训出来都不容易，不过澄清一下概念还是必要的”。

大概盘算了一下，一年多来，业界发布了非常多的大模型，从去年OpenAI GPT-3 1750亿参数开始，到年初华为盘古大模型 1000亿，鹏城盘古-α 2000亿参数，Google switch transformer 1.6万亿；及近期的智源悟道2.0 1.75万亿参数 MoE，快手1.9万亿参数推荐精排模型，阿里达摩院M6 1万亿参数等。

很多小伙伴看的是眼花缭乱，那究竟这些模型有没有差异？如果有差异，差异在哪里？

一探究竟：超大模型差异

首先我想说这些模型都是基于Transformer结构，但是在模型扩展上有非常大的不同。

从计算角度看，我们可以把这些大模分成3类

稠密Transformer：OpenAI GPT-3，华为盘古/鹏程盘古α（MindSpore支撑）；模型规模的扩展是全结构的扩容；
稀疏MoE结构Transformer：Google Switch Transformer，智源悟道2.0，阿里M6。一般来说是选择一个基础的稠密模型，通过MoE稀疏结构扩展FFN部分，以此来达成模型的扩容；
高维稀疏特征推荐模型：快手推荐精排，我理解主要是推荐的高维稀疏特征Embedding需要超大参数。
推荐类模型是一个比较独立的计算特征网络，这个我们最后分析。其中相似性非常大的是稠密Transformer和稀疏MoE结构Transformer，下面我们以Google Switch Transformer来对比两者的差异。

下面两张图是Google Switch Transformer论文中和T5的对比，Switch Transformer是基于T5，通过MoE稀疏结构扩展。我们用Switch-Base作为这次分析对比基准。

Switch-Base是基于T5-Base的MoE稀疏扩展，模型参数规模比T5-Base大33倍，从计算角度看，内存开销是T5的33倍，算力开销和T5-Base一致。同时，我们拿Switch-Base和T5-Large做一个对比。Switch-Base参数规模是T5-Large的10倍，也就是说内存开销是T5的10倍，算力开销是T5-Large的29%；

从下面这个表格的下游任务对比来看，在同样的算力开销下，Switch-Base的效果比T5-Base整体上要好，这个优势是通过33倍的内存开销换取的；但是同时，Switch-Base在参数量比T5-Large大了10倍的情况下，效果比T5-Large要差一些。

所以我们不能单纯从参数规模来衡量一个网络的效果，需要通过参数量和计算量来综合对比，需要我们探索一种新的指标，综合考虑内存和算力开销来评估一个模型。

另外，从Switch Transformer 1.6万亿模型来看，其计算量只有稠密T5 130亿参数的10%，参数量是其100倍；如果从每个参数消耗的算力来计算，1.6万亿稀疏模型只是稠密的千分之一，即1.6万亿参数的Switch Transformer的计算量相当于10亿参数的稠密的Transformer。

从训练角度来看，MoE大模型的计算量较少，重点是做好模型参数的切分，从switch transformer的实践看，主要使用数据并行+MoE并行的组合；而稠密的Transformer计算和通信量非常大，所以盘古-α需要在2K张卡上进行训练，同时也需要复杂的pipeline并行/算子级模型并行/数据并行等并行切分策略来确保2k集群的算力能被充分利用，个人认为训练挑战更大。

从推理的角度看，MoE的模型参数量非常大，我觉得可能需要通过蒸馏/量化等手段进行压缩才更适合使用，挑战很大，也是MoE模型推广面临的障碍。

快手的1.9万亿参数网络，是一种高维稀疏推荐网络，拿Google Wide&Deep来对比更为恰当。快手推荐网络的优化，应该是在后面的DNN层用了Transformer结构，而模型头部的Embedding部分还是保持和传统深度学习推荐网络类似（没有找到相关论文，不对请指正）。

这类型网络，为了表达高维稀疏特征，会有一个超级大的Embedding，参数主要是集中在头部的特征Embedding部分。这种类型网络的训练方式和前面讲的完全不同，核心技术是Embedding的模型并行，以及CPU/NPU的协同计算和存储。华为诺亚实验室在今年SIGIR 2021上发表的“ScaleFreeCTR: MixCache-based Distributed Training System for CTR Models with Huge Embedding Table”是目前一种最好的训练方案之一，也将会在MindSpore上开源。

除了Transformer这种算法结构外，还是有CNN类的超大模型，也可以分成两类，这两类模型也是稠密的，参数量和计算量是成正比。

超大分类层：超大规模人脸识别、图像分类网络，其典型特征是CNN特征抽取之后的FC分类层超级大。例如千万ID的人脸识别，FC层的参数规模就达到了50亿。
超大Activation：遥感和超高分辨率图像处理，这类网络参数量不大，和传统CNN的参数量类似，在百M级别。但是这种模型的输入数据以及计算过程中的Activation非常大。以遥感为例，平均输入样本的分辨率就有[30000, 30000, 4]，一个样本就有3.6GB，大的图像有10GB以上，中间层Activation也是GB级别的大小。
所以，总的来说在NLP、多模态、推荐、图像处理领域都有大模型，目前业界比较火热讨论的主要是基于Transformer+MoE结构的NLP及多模态大模型，我们期望通过这篇文章，让小伙伴能了解这些模型在计算上的差异。

如何系统的去学习大模型LLM ？

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

AI大模型系统学习路线图

在这里插入图片描述

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景

辅助学习书籍PDF资源：

在这里插入图片描述

学习计划：

阶段1：1-2个月，建立AI大模型的基础知识体系。
阶段2：2-3个月，专注于API应用开发能力的提升。
阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
阶段4：4-5个月，专注于高级模型的应用和部署。
请根据您的个人进度和时间安排，适当调整学习计划。记得在学习过程中，理论与实践相结合，不断进行项目实践和反思，以加深理解和技能的掌握。

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。