MoE概念
模型参数增加很多；计算量没有增加（gating+小FNN，比以前的大FNN计算量要小）；收敛速度变快；
效果：PR-MoE > 普通MoE > DenseTransformer
MoE模型，可视为Sparse Model，因为每次参与计算的是一部分参数；
Expert并行，可以和其他并行方式，同时使用：
ep_size指定了MoE进程组大小，一个模型replica的所有MoE都分布在mp_size这些GPU卡上。
下例，启动2个DP replica，每个DP replica包含2个MoE rank，每个MoE rank包含4个MoE FFN，每个GPU放置一个MoE rank；
import torch import deepspeed import deepspeed.utils.groups as groups from deepspeed.moe.layer import MoEWORLD_SIZE = 4 EP_WORLD_SIZE = 2 EXPERTS = 8fc3 = torch.nn.Linear(84, 84) fc3 = MoE(hidden_size=84, expert=self.fc3, num_experts=EXPERTS, ep_size=EP_WORLD_SIZE, k=1) fc4 = torch.nn.Linear(84, 10)
节约显存的方式：
1. 配置好ZeRo
2. 配置好fp16
"fp16": {"enabled": true,"fp16_master_weights_and_grads": true,}
支持PR-MoE
Pyramid: 金字塔 ；前面的层，Experts数量少些，后面的层Experts数量多些；
Residual：每层都过一个固定的MLP，并和选中的Expert输出结果，相加；
支持Random Token Selection
推理
import deepspeed import torch.distributed as dist# Set expert-parallel size world_size = dist.get_world_size() expert_parallel_size = min(world_size, args.num_experts)# create the MoE model moe_model = get_model(model, ep_size=expert_parallel_size) ...# Initialize the DeepSpeed-Inference engine ds_engine = deepspeed.init_inference(moe_model,mp_size=tensor_slicing_size,dtype=torch.half,moe_experts=args.num_experts,checkpoint=args.checkpoint_path,replace_with_kernel_inject=True,) model = ds_engine.module output = model('Input String')如果Experts数目大于GPU数目， 均分在各个GPU上；如果小于，则Expert将被切片，均分到各个GPU上；
注意：ep_size, mp_size(模型并行），dtype为half, 优化版kernel的使用replace_with_kernel_inject=True;
generate_samples_gpt.py \--tensor-model-parallel-size 1 \--num-experts ${experts} \--num-layers 24 \--hidden-size 2048 \--num-attention-heads 32 \--max-position-embeddings 1024 \--tokenizer-type GPT2BPETokenizer \--load $checkpoint_path \--fp16 \--ds-inference \PR-MoE, 前面那些层的experts个数少，后面的多：
experts="64 64 64 64 64 64 64 64 64 64 128 128" generate_samples_gpt.py \--tensor-model-parallel-size 1 \--num-experts ${experts} \--mlp_type 'residual' \--num-layers 24 \--hidden-size 2048 \--num-attention-heads 16 \--max-position-embeddings 1024 \--tokenizer-type GPT2BPETokenizer \--load $checkpoint_path \--fp16 \--ds-inference \--mlp_type指定使用PR-MoE，推理latency更块；
