Meta 发布 Llama 3.3：一个性能和效率均有所提升的多语言模型

Meta 发布了 Llama 3.3，这是一款多语言大语言模型，旨在支持研究和行业中的一系列人工智能应用。该模型具有 128k 个 token
上下文窗口，并对架构进行了改进以提高效率，在推理、编码和多语言任务的基准测试中表现出色。该模型在 Hugging Face 上以社区许可的形式提供。

Llama 3.3 对之前版本进行了改进，具有更长的上下文窗口，长达 128k 个 token，并使用分组查询注意力（Grouped-Query
Attention,GQA）优化了 Transformer
架构，以实现更好的可扩展性和效率。它通过将监督学习和基于人类反馈的强化学习相结合来进行微调，确保在各种任务中的出色表现，同时保持有用性和安全性。

该模型在关键基准测试中表现出色。这个拥有 700 亿个参数的模型在多语言对话、推理、编码和安全评估方面的表现优于开源和专有替代方案：

• 推理和知识 ：Llama 3.3 在具有挑战性的 GPQA 推理基准上，准确率达到了 50.5%，与其前身相比，有所改进。

• 代码生成 ：该模型在 HumanEval 编码基准上，