Meta革命性发布:Llama 3.1——性能最强的AI开源模型,开启智能新时代!

前言

🚀 Meta隆重推出Llama 3.1:迄今为止性能最强的AI模型

Meta公司近日发布了他们最新的AI语言模型——Llama 3.1,这一消息迅速在科技界掀起了波澜。作为猫头虎技术团队,我们将为大家详细解析Llama 3.1的强大功能及其应用前景。 🐫

Meta公司最新发布的Llama 3.1 AI模型,以其前所未有的灵活性、控制力和最先进的功能,震撼了整个科技界。这一开源模型不仅将上下文长度扩展到128K,支持八种语言,还为开发者提供了前沿级的智能工具。Llama 3.1 405B的独特性能使其能够与最佳闭源模型媲美,同时解锁合成数据生成和模型提炼等新工作流程。通过与25个顶级合作伙伴的协作,包括AWS、NVIDIA和Google Cloud等,Llama 3.1将为开发者提供创建自定义代理和新型代理行为的强大工具,推动开源AI的创新和应用。 🐫


猫头虎是谁?

大家好,我是 猫头虎,别名猫头虎博主,擅长的技术领域包括云原生、前端、后端、运维和AI。我的博客主要分享技术教程、bug解决思路、开发工具教程、前沿科技资讯、产品评测图文、产品使用体验图文、产品优点推广文稿、产品横测对比文稿,以及线下技术沙龙活动参会体验文稿。内容涵盖云服务产品评测、AI产品横测对比、开发板性能测试和技术报告评测等。

目前,我活跃在CSDN、51CTO、腾讯云开发者社区、阿里云开发者社区、知乎、微信公众号、视频号、抖音、B站和小红书等平台,全网拥有超过30万的粉丝,统一IP名称为 猫头虎 或者 猫头虎博主。希望通过我的分享,帮助大家更好地了解和使用各类技术产品。

原创作者 ✍️

  • 博主猫头虎
    • 全网搜索关键词猫头虎
    • 作者微信号Libin9iOak
    • 作者公众号猫头虎技术团队
    • 更新日期2024年6月16日
    • 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能!

专栏链接 🔗

  • 精选专栏
    • 《面试题大全》 — 面试准备的宝典!
    • 《IDEA开发秘籍》 — 提升你的IDEA技能!
    • 《100天精通鸿蒙》 — 从Web/安卓到鸿蒙大师!
    • 《100天精通Golang(基础入门篇)》 — 踏入Go语言世界的第一步!
    • 《100天精通Go语言(精品VIP版)》 — 踏入Go语言世界的第二步!

领域矩阵 🌐

  • 猫头虎技术领域矩阵
    • 猫头虎技术矩阵
    • 新矩阵备用链接

加入猫头虎的技术圈,一起探索编程世界的无限可能! 🚀

文章目录

  • 前言
    • 猫头虎是谁?
    • 原创作者 ✍️
    • 专栏链接 🔗
    • 领域矩阵 🌐
    • 加入猫头虎的技术圈,一起探索编程世界的无限可能! 🚀
  • Meta革命性发布:Llama 3.1——性能最强的AI开源模型,开启智能新时代!
    • 隆重推出 Llama 3.1
    • 模型评估
    • 模型架构
    • 指令和聊天微调
    • 骆驼系统
    • 开放驱动创新
    • 使用 Llama 3.1 405B 进行构建
    • 立即试用 Llama 3.1 系列模型
    • 结尾
      • 联系与版权声明 📩

Meta革命性发布:Llama 3.1——性能最强的AI开源模型,开启智能新时代!

在这里插入图片描述

隆重推出 Llama 3.1

Llama 3.1 405B 是第一个公开可用的模型,在常识、可操纵性、数学、工具使用和多语言翻译等先进功能方面可与顶级 AI 模型相媲美。随着 405B 模型的发布,Meta团队已准备好增强创新能力,为增长和探索提供前所未有的机会。Meta团队相信最新一代的 Llama 将激发新的应用程序和建模范例,包括合成数据生成,以便改进和训练较小的模型,以及模型提炼,这是开源中从未如此大规模实现的功能。

作为最新版本的一部分,Meta团队推出了 8B 和 70B 模型的升级版本。这些模型支持多种语言,上下文长度显著增加,达到 128K,使用最先进的工具,推理能力也更强。这使得Meta团队的最新模型能够支持高级用例,例如长篇文本摘要、多语言对话代理和编码助手。Meta团队还对许可证进行了更改,允许开发人员使用 Llama 模型(包括 405B)的输出来改进其他模型。为了履行Meta团队对开源的承诺,从今天开始,Meta团队将这些模型提供给社区,供其在llama.meta.com和Hugging Face上下载,并可在Meta团队广泛的合作伙伴平台生态系统上立即开发。

模型评估

对于此版本,Meta团队在 150 多个涵盖多种语言的基准数据集上评估了性能。此外,Meta团队还进行了广泛的人工评估,在真实场景中将 Llama 3.1 与竞争模型进行了比较。Meta团队的实验评估表明,Meta团队的旗舰模型在一系列任务中与领先的基础模型相媲美,包括 GPT-4、GPT-4o 和 Claude 3.5 Sonnet。此外,Meta团队的小型模型与具有相似数量参数的封闭和开放模型相媲美。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

模型架构

作为Meta团队迄今为止最大的模型,在超过 15 万亿个 token 上训练 Llama 3.1 405B 是一项重大挑战。为了能够以这种规模进行训练并在合理的时间内取得成果,Meta团队显著优化了整个训练堆栈,并将模型训练推向超过 16,000 个 H100 GPU,使 405B 成为第一个以这种规模训练的 Llama 模型。
模型架构

为了解决这个问题,Meta团队做出了设计选择,重点关注保持模型开发过程的可扩展性和简单性。

  • Meta团队选择了标准的仅解码器的变压器模型架构,并进行了细微的改动,而不是混合专家模型,以最大限度地提高训练稳定性。
  • Meta团队采用了迭代式后训练程序,每轮都使用监督式微调和直接偏好优化。这使Meta团队能够为每一轮创建最高质量的合成数据,并提高每项功能的性能。

与之前的 Llama 版本相比,Meta团队提高了用于训练前和训练后的数据的数量和质量。这些改进包括为训练前数据开发更仔细的预处理和管理流程、开发更严格的质量保证以及训练后数据的过滤方法。

正如语言模型的缩放定律所预期的那样,Meta团队的新旗舰模型比使用相同程序训练的小型模型表现更好。Meta团队还使用 405B 参数模型来提高小型模型的训练后质量。

为了支持 405B 规模模型的大规模生产推理,Meta团队将模型从 16 位 (BF16) 量化为 8 位 (FP8) 数字,有效降低了所需的计算要求并允许模型在单个服务器节点内运行。

指令和聊天微调

借助 Llama 3.1 405B,Meta团队努力提高模型对用户指令的响应能力、质量和详细指令遵循能力,同时确保高水平的安全性。Meta团队面临的最大挑战是支持更多功能、128K 上下文窗口和更大的模型大小。

在后期训练中,Meta团队通过在预训练模型的基础上进行几轮对齐来生成最终的聊天模型。每轮都涉及监督微调 (SFT)、拒绝抽样 (RS) 和直接偏好优化 (DPO)。Meta团队使用合成数据生成来生成绝大多数 SFT 示例,并进行多次迭代以生成涵盖所有功能的越来越高质量的合成数据。此外,Meta团队投资了多种数据处理技术,以将这些合成数据过滤到最高质量。这使Meta团队能够跨功能扩展微调数据量。

Meta团队仔细平衡数据,以生成在所有功能上都具有高质量模型。例如,即使扩展到 128K 上下文,Meta团队的模型在短上下文基准上也能保持质量。同样,即使Meta团队添加了安全缓解措施,Meta团队的模型仍能继续提供最有帮助的答案。

骆驼系统

Llama 模型始终旨在作为整体系统的一部分,该系统可以协调多个组件,包括调用外部工具。Meta团队的愿景是超越基础模型,让开发人员能够访问更广泛的系统,让他们能够灵活地设计和创建符合他们愿景的定制产品。这种想法始于去年,当时Meta团队首次引入了核心 LLM 之外的组件。

为了持续致力于在模型层之外负责任地开发 AI 并帮助其他人也这样做,Meta团队发布了一个完整的参考系统,其中包括几个示例应用程序,并包括新组件,例如[Llama Guard 3](https://llama.meta.com/trust-and-safety/#safeguard-model ?)(多语言安全模型)和 Prompt Guard(即时注入过滤器)。这些示例应用程序是开源的,社区可以在此基础上进行构建。

Llama System 愿景中的组件实现仍然很分散。这就是为什么Meta团队开始与行业、初创公司和更广泛的社区合作,以帮助更好地定义这些组件的接口。为了支持这一点,Meta团队在 GitHub 上发布了对Meta团队称之为“Llama Stack”的评论请求。Llama Stack 是一组标准化和有主见的接口,用于如何构建规范的工具链组件(微调、合成数据生成)和代理应用程序。Meta团队希望这些接口能够在整个生态系统中得到采用,这将有助于更轻松地实现互操作性。

Meta团队欢迎反馈和改进提案的方法。Meta团队很高兴能够发展围绕 Llama 的生态系统并降低开发人员和平台提供商的门槛。

开放驱动创新

与封闭模型不同,Llama 模型权重可供下载。开发人员可以根据自己的需求和应用完全自定义模型,在新数据集上进行训练,并进行额外的微调。这使更广泛的开发人员社区和世界能够更充分地认识到生成式 AI 的强大功能。开发人员可以完全自定义其应用程序,并在任何环境中运行,包括本地、云端,甚至本地笔记本电脑上 - 所有这些都无需与 Meta 共享数据。

尽管许多人可能认为封闭模型更具成本效益,但根据人工智能分析的测试,Llama 模型的每代币成本是业内最低的。正如马克·扎克伯格所说,开源将确保全世界更多的人能够享受人工智能的好处和机会,权力不会集中在少数人手中,并且该技术可以更均匀、更安全地在整个社会中部署。这就是为什么Meta团队继续采取措施,让开放式人工智能成为行业标准。

Meta团队看到社区利用过去的 Llama 模型构建了令人惊叹的东西,包括使用 Llama 构建并部署在 WhatsApp 和 Messenger 中的AI 学习伙伴、专为医疗领域量身定制的 LLM,旨在帮助指导临床决策,以及巴西的一家医疗保健非营利初创公司,它使医疗保健系统能够更轻松地以数据安全的方式组织和传达患者的住院信息。借助开源的力量,Meta团队迫不及待地想看看他们利用Meta团队的最新模型构建了什么。

使用 Llama 3.1 405B 进行构建

对于普通开发者来说,使用 405B 规模的模型是一项挑战。虽然这是一个非常强大的模型,但Meta团队认识到,使用它需要大量的计算资源和专业知识。Meta团队与社区进行了交流,Meta团队意识到生成式 AI 开发不仅仅是提示模型。Meta团队希望让每个人都能充分利用 405B,包括:

  • 实时和批量推理
  • 监督微调
  • 针对您的特定应用评估您的模型
  • 持续预训练
  • 检索增强生成 (RAG)
  • 函数调用
  • 合成数据生成

这正是 Llama 生态系统可以提供帮助的地方。在第一天,开发人员就可以利用 405B 模型的所有高级功能并立即开始构建。开发人员还可以探索高级工作流程,例如易于使用的合成数据生成、遵循模型提炼的交钥匙指示以及使用 AWS、NVIDIA 和 Databricks 等合作伙伴的解决方案实现无缝 RAG。此外,Groq 针对云部署优化了低延迟推理,而戴尔也针对本地系统实现了类似的优化。

在这里插入图片描述

Meta团队与 vLLM、TensorRT 和 PyTorch 等主要社区项目合作,从第一天开始提供支持,以确保社区为生产部署做好准备。

Meta团队希望 405B 的发布也能激发整个社区的创新,使这种规模的模型的推理和微调变得更容易,并推动模型提炼的下一波研究。

立即试用 Llama 3.1 系列模型

Meta团队迫不及待地想看看社区将如何处理这项工作。使用多语言性和增加的上下文长度,可以构建有用的新体验,潜力巨大。借助 Llama Stack 和新的安全工具,Meta团队期待继续负责任地与开源社区共同建设。在发布模型之前,Meta团队会通过多种措施来识别、评估和减轻潜在风险,包括通过红队进行部署前风险发现练习以及安全微调。例如,Meta团队与外部和内部专家进行了广泛的红队测试,以对模型进行压力测试并找到可能使用它们的意外方式。(阅读此博客文章,了解有关Meta团队如何负责任地扩展Meta团队的 Llama 3.1 模型集合的更多信息。)

虽然这是Meta团队迄今为止最大的模型,但Meta团队相信未来仍有许多新的领域值得探索,包括更多设备友好的尺寸、更多模式以及在代理平台层的更多投资。与往常一样,Meta团队期待看到社区将利用这些模型构建的所有令人惊叹的产品和体验。

结尾

Llama 3.1 405B的发布不仅代表了Meta在AI领域的技术突破,也标志着开源AI新时代的到来。Meta团队期待看到开发者们利用这一强大工具创造出更多令人惊叹的应用。立即试用Llama 3.1,加入开源AI的未来吧! 🚀

总结: Meta推出的Llama 3.1在性能、功能和开放性上都达到了新的高度,必将引领AI领域的创新潮流。Meta团队将继续关注这一领域的动态,带来更多精彩内容,敬请关注猫头虎技术团队公众号。

参考资料:

  • Mark Zuckerberg的开源AI信件
  • Llama 3.1官方发布文档
  • Meta AI团队的技术白皮书

温馨提示: 请关注猫头虎技术团队公众号,第一时间获取最新科技资讯和深度解析。

👉 更多信息:有任何疑问或者需要进一步探讨的内容,欢迎点击下方文末名片获取更多信息。我是猫头虎博主,期待与您的交流! 🦉💬
在这里插入图片描述

联系与版权声明 📩

  • 联系方式
    • 微信: Libin9iOak
    • 公众号: 猫头虎技术团队
  • 版权声明
    本文为原创文章,版权归作者所有。未经许可,禁止转载。更多内容请访问猫头虎的博客首页。

点击✨⬇️下方名片⬇️✨,加入猫头虎领域社群矩阵。一起探索科技的未来,共同成长。🚀

🔗 猫头虎社群 | 🔗 Go语言VIP专栏 | 🔗 GitHub 代码仓库 | 🔗 Go生态洞察专栏
✨ 猫头虎精品博文

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/49666.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android APP 音视频(02)MediaProjection录屏与MediaCodec编码

说明: 此MediaProjection 录屏和编码实操主要针对Android12.0系统。通过MediaProjection获取屏幕数据,将数据通过mediacodec编码输出H264码流(使用ffmpeg播放),存储到sd卡上。 1 MediaProjection录屏与编码简介 这里…

HTML5 + CSS3

HTML 基础 准备开发环境 1.vscode 使用 新建文件夹 ---> 左键拖入 vscode 中 2.安装插件 扩展 → 搜索插件 → 安装打开网页插件:open in browser汉化菜单插件:Chinese 3.缩放代码字号 放大,缩小:Ctrl 加号,减号 4.设…

机械设计基础B(学习笔记)

绪论 机构:是一些具备各自特点的和具有确定的相对运动的基本组合的统称。 组成机构的各个相对运动部分称为构件。构件作为运动单元,它可以是单一的整体,也可以是由几个最基本的事物(通常称为零件)组成的刚性结构。 构件…

华杉研发九学习日记17 正则表达式 异常

华杉研发九学习日记17 一,正则表达式 ^ $ 作用: 测试字符串内的模式(匹配) 例如,可以测试输入字符串,以查看字符串内是否出现电话号码模式或信用卡号码模式。这称为数据验证. 替换文本(替换》 可以使用正则表达式来…

vue3 学习笔记17 -- 基于el-menu封装菜单

vue3 学习笔记17 – 基于el-menu封装菜单 前提条件:组件创建完成 配置路由 // src/router/index.ts import { createRouter, createWebHashHistory } from vue-router import type { RouteRecordRaw } from vue-router export const Layout () > import(/lay…

PyTorch 2.0 GPU Nvidia运行库的安装

【图书推荐】《PyTorch深度学习与计算机视觉实践》-CSDN博客 假设读者电脑带有NVIDIA 20 以上系列的显卡。 我们以CUDA 11.7cuDNN 8.2.0(其他更高版本的组合,读者可以执行查阅PyTorch官网获得)为例,讲解PyTorch 2.0 GPU版本的安…

rt_container_of 作用和实现过程超级详解介绍

目录 作用 ptr 获取 偏移size获取 函数作用 我们先看段代码,了解rt_container_of有什么用处: #include "stdio.h" #define rt_container_of(ptr, type, member) \((type *)((char *)(ptr) - (unsigned long)(&((type *)0)->member)))struct ST…

Chrome谷歌浏览器Console(控制台)显示文件名及行数

有没有这样的困扰?Chrome谷歌浏览器console(控制台)不显示编译文件名及行数? 设置(Settings)- > 忽略列表(lgnore List)-> 自定义排除规则(Custom exclusion rules) 将自定义排除规则…

昇思学习打卡-22-生成式/DCGAN生成漫画头像

文章目录 DCGAN网络数据处理构造网络生成器判别器损失函数优化器 结果展示 我们将学习DCGAN网络如何数据处理、设置网络,包括生成器、判别器、损失函数、优化器等。 DCGAN网络 DCGAN(深度卷积对抗生成网络,Deep Convolutional Generative Ad…

go-kratos 学习笔记(1) 安装

简介: Kratos 一套轻量级 Go 微服务框架,包含大量微服务相关框架及工具。 使用步骤: 安装cli工具 go install github.com/go-kratos/kratos/cmd/kratos/v2latest 创建项目 通过 kratos 命令创建项目模板 # 国内拉取失败可使用gitee源 krat…

项目实战--C#实现图书馆信息管理系统

本项目是要开发一个图书馆管理系统,通过这个系统处理常见的图书馆业务。这个系统主要功能是:(1)有客户端(借阅者使用)和管理端(图书馆管理员和系统管理员使用)。(2&#…

Mac装虚拟机占内存吗 Mac用虚拟机装Windows流畅吗

如今,越来越多的Mac用户选择在他们的设备上安装虚拟机来运行不同的操作系统。其中,最常见的是使用虚拟机在Mac上运行Windows。然而,许多人担心在Mac上装虚拟机会占用大量内存,影响电脑系统性能。此外,有些用户还关心在…

C++实现LRU缓存(新手入门详解)

LRU的概念 LRU(Least Recently Used,最近最少使用)是一种常用的缓存淘汰策略,主要目的是在缓存空间有限的情况下,优先淘汰那些最长时间没有被访问的数据项。LRU 策略的核心思想是: 缓存空间有限&#xff1…

Linux:传输层(2) -- TCP协议(1)

目录 1. TCP协议段格式 2. 解包/分用 3. 确认应答(ACK)机制 4. 超时重传机制 5. 连接管理机制 5.1 三次握手 5.2 四次挥手 5.3 TIME_WAIT状态 5.4 CLOSE_WAIT状态 1. TCP协议段格式 源/目的端口号: 表示数据是从哪个进程来, 到哪个进程去; 32位序号/32位确认号: 后面详…

FreeModbus学习——读输入寄存器eMBFuncReadInputRegister

FreeModbus版本:1.6 当功能码为04时,也就是读输入寄存器MB_FUNC_READ_INPUT_REGISTER 看一下它是怎么调用读输入寄存器处理函数的 当功能码为04时,调用读输入寄存器处理函数 这个函数在数组xFuncHandlers中,也就是eMBFuncRead…

实战:MyBatis适配多种数据库:MySQL、Oracle、PostGresql等

概叙 很多时候,一套代码要适配多种数据库,主流的三种库:MySQL、Oracle、PostGresql,刚好mybatis支持这种扩展,如下图所示,在一个“namespace”,判断唯一的标志是iddatabaseId,刚好写…

mysql索引结构

多种数据结构 在数据库索引领域,特别是MySQL的InnoDB存储引擎中,聚簇索引(Clustered Index)和非聚簇索引(也称为二级索引,Secondary Index)是两种主要的索引类型。这些索引类型在数据结构的选择…

最优化原理(笔记)

内积是线性代数运算的一个结果,一行*一列。 内积的性质! 什么是范数??? 对称矩阵:关于主对角线对称! 正定对称矩阵: 二阶导是正定的,f(x)就是严格的凸函数!&a…

spring部分源码分析及Bean的生命周期理解

前言: 本文整体框架是通过refresh方法这个入口进入分析:分析IOC容器的创建及一些Bean的生命周期的知识点,写得确实一般般,感觉自己的有些前置知识并没有理解的很到位,所以,这篇文件先记录一下,…

推荐一款开箱即用、开源、免费的中后台管理系统模版

项目介绍 vue-pure-admin 是推荐一款开箱即用、开源(遵循MIT License开源协议)、免费的中后台管理系统模版,完全采用 ECMAScript 模块(ESM)规范来编写和组织代码,使用了最新的 Vue3、 Vite、Element-Plus、…