2024年7月23日，Meta正式发布了其开源大型语言模型Llama的最新版本——Llama 3.1。这个版本拥有4050亿参数，是迄今为止Meta发布的最大版本。Llama 3.1是对今年4月发布的Llama 3的更新，之前的版本仅有80亿和70亿参数。

性能特点

Llama 3.1被设计为性能卓越的开源模型，能够与许多行业领先的闭源模型竞争。该模型支持多语言，包括英语、葡萄牙语、西班牙语、意大利语、德语、法语、印地语和泰语。Llama 3.1的上下文窗口扩展到了128,000个令牌，这意味着用户可以输入相当于近400页小说长度的文本。

基准测试

Meta在150多个基准数据集上对Llama 3.1进行了测试，并在现实世界场景中进行了人工引导的评估。结果显示，这个拥有4050亿参数的模型在多项任务上与领先的基准模型，如GPT-4、GPT-4o和Claude 3.5 Sonnet等具有竞争力。

教学模型

Meta还更新了其所有模型的许可证，允许进行模型蒸馏和创建合成数据。这种模型蒸馏，或称为知识蒸馏，使得用户可以将大型AI模型的知识或训练转移到较小的模型上。4050亿参数的版本被称为“教学模型”，能够将其知识传递给8亿和70亿参数的模型。

模型结构

为了使更大的模型更具可扩展性，Meta研究人员决定使用标准的仅变压器模型，而不是近期流行的混合专家架构。公司还使用了一种“迭代后训练程序”来进行监督式微调，并创建了“最高质量”的合成数据来提高其性能。

开源和可用性

与之前的Llama模型一样，Llama 3.1也将开源。用户可以通过AWS、Nvidia、Groq、Dell、Databricks、Microsoft Azure、Google Cloud和其他模型库来访问它。
Llama 3.1 405B版本也将通过WhatsApp和Meta AI提供。这个强大的新模型无疑将在AI领域产生重大影响，为开发者和研究人员提供新的工具和可能性。