计算机行业AI前沿报告：混合专家模型技术(MoE)

今天分享的是****AI系列深度研究报告：《计算机行业AI前沿报告：混合专家模型技术(MoE)》。（报告出品方：中信建投证券）

精选内容来源公众：见鹿报告

报告共计: 24页

[报告内容摘要如下]

**•核心观点：混合专家模型技术(MoE)是由专家模型和门控模型组成稀疏门控制的深度学习技术。**MoE通过门控网络实现任务/训练数据在不同专家模型间的分配，让每个模型专注处理其最擅长的任务，进而实现模型的稀疏性。随着大模型参数量的持续提升，MoE在提升计算效率方面展现出强大的能力。同时，近年来MoE逐渐与不同领域的模型相结合，包括自然语言、图像、推荐系统、多模态等，并展现出优秀的性能。后续MoE技术将在提升训练及推理效率、优化模型性能和边缘&端侧AI应用等方面发挥重要作用，建议关注相关研究进展。

**•混合专家模型技术(MoE)让模型具有稀疏性，进而提高模型计算效率。**在传统的密集模型中，输入的内容要在整个模型中进行计算，而MoE通过门控模型将输入内容分配至一个或多个专家模型，保证在单次处理中只有少数专家模型被激活或使用，而大部分专家模型处于未被激活状态，从而实现模型的稀疏性。这一性质大幅提高了模型的计算效率，例如SwitchTransformer的训练速度最高可以达到T5模型（参数量相近情况下）的7倍，而V-MoE相较于ViT模型，达到相同性能的情况下节省了2.5倍的算力消耗。

**•混合专家模型(MoE)技术目前在多个AI细分领域中有所应用，性能提升显著。**近年来随着MoE技术的不断突破，其在自然语言处理、计算机视觉、多模态、推荐系统等丰富场景中有所应用。相较于密集模型而言，稀疏的MoE模型在性能和计算效率上都有显著提升，例如NLP领域的GLaM模型在零样本、单样本和少样本学习任务上相较于GPT-3分别实现了平均10.2%、6.3%和4.4%的性能提升，多模态领域的LIMoE在零样本、少样本的图像分类任务中的绝对平均性能相较于CLIP分别实现了10.1和12.2%的提升。

【内容看点】