Llama 4全面评测：官方数据亮眼，社区测试显不足之处

引言

2025年4月，Meta正式发布了全新的Llama 4系列模型，这标志着Llama生态系统进入了一个全新的时代。Llama 4不仅是Meta首个原生多模态模型，还采用了混合专家(MoE)架构，并提供了前所未有的上下文长度支持。本文将详细介绍Llama 4的主要特性、技术创新以及社区对这次更新的相关评测结果，帮助您全面了解这一AI领域的重大突破。

Llama 4系列模型概览

Meta此次推出了Llama 4系列的三个主要模型：

Llama 4 Scout：拥有17B活跃参数和16个专家，总参数量为109B。它是同类中最佳的多模态模型，可以在单个NVIDIA H100 GPU上运行，并提供业界领先的1000万token上下文窗口。
Llama 4 Maverick：拥有17B活跃参数和128个专家，总参数量为400B。它在多项广泛报告的基准测试中击败了GPT-4o和Gemini 2.0 Flash，同时在推理和编码方面与新的DeepSeek v3取得了相当的结果，但活跃参数不到后者的一半。
Llama 4 Behemoth：拥有288B活跃参数和16个专家，总参数量接近2万亿。作为Meta最强大的LLM，它在多项STEM基准测试中优于GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。目前该模型仍在训练中，尚未公开发布。

值得注意的是，虽然Llama 4 Maverick的总参数量为400B，但在处理每个token时，实际参与计算的"活跃参数"始终是17B。这大大降低了推理和训练的延迟。

技术创新与突破

混合专家(MoE)架构：效率与性能的完美平衡

Llama 4 MoE架构示意图

Llama 4是Meta首次使用混合专家(MoE)架构的模型。在MoE模型中，单个token只激活总参数的一小部分。这种架构在训练和推理方面更加计算高效，与固定训练FLOP预算相比，能够提供更高的质量。

例如，Llama 4 Maverick模型有17B活跃参数和400B总参数。它使用交替的密集层和混合专家(MoE)层来提高推理效率。MoE层使用128个路由专家和一个共享专家。每个token都会被发送到共享专家和128个路由专家中的一个。因此，虽然所有参数都存储在内存中，但在提供这些模型服务时，只有一部分总参数被激活。

原生多模态能力：视觉与文本的无缝融合

Llama 4模型设计具有原生多模态性，通过早期融合将文本和视觉token无缝集成到统一的模型主干中。早期融合是一个重大进步，因为它使模型能够用大量未标记的文本、图像和视频数据联合预训练。

这些模型在各种图像和视频帧上进行了训练，以提供广泛的视觉理解能力，包括时间活动和相关图像。这使得模型能够轻松处理多图像输入和文本提示，用于视觉推理和理解任务。模型在预训练阶段支持多达48张图像，并在后训练阶段测试中显示出良好的结果，最多支持8张图像。

超长上下文支持：突破性的1000万token容量

Llama 4 Scout将支持的上下文长度从Llama 3的128K大幅增加到业界领先的1000万token。这开启了许多可能性，包括：

多文档摘要生成
解析大量用户活动进行个性化任务
对庞大代码库的深度推理
长文本理解与分析

技术实现：Llama 4 Scout在预训练和后训练阶段都使用了256K上下文长度，这使基础模型具备了先进的长度泛化能力。Llama 4架构的一个关键创新是使用交替注意力层（无位置嵌入）。此外，还采用了推理时间注意力温度缩放来增强长度泛化。这种架构被称为iRoPE，其中"i"代表"交替"注意力层，突出了支持"无限"上下文长度的长期目标，而"RoPE"指的是大多数层中使用的旋转位置嵌入。

训练方法与优化

预训练创新：MetaP超参数设置技术

Meta开发了一种新的训练技术，称为MetaP，它允许可靠地设置关键模型超参数，如每层学习率和初始化比例。这些超参数在不同的批量大小、模型宽度、深度和训练token上都能很好地迁移。

Llama 4通过在200种语言上进行预训练来支持开源微调工作，其中超过100种语言的token超过10亿个，总体上比Llama 3多10倍的多语言token。

此外，Meta还专注于高效的模型训练，使用FP8精度，同时不牺牲质量并确保高模型FLOP利用率。在使用FP8和32K GPU预训练Llama 4 Behemoth模型时，每个GPU达到了390 TFLOP。总体数据混合训练包含超过30万亿个token，是Llama 3预训练混合的两倍多，包括多样化的文本、图像和视频数据集。