LLaMA 2 - 你所需要的一切资源

摘录

关于 LLaMA 2 的全部资源,如何去测试、训练并部署它。


LLaMA 2 是一个由 Meta 开发的大型语言模型,是 LLaMA 1 的继任者。LLaMA 2 可通过 AWS、Hugging Face 等提供商获取,并免费用于研究和商业用途。LLaMA 2 预训练模型在 2 万亿个标记上进行训练,相比 LLaMA 1 的上下文长度增加了一倍。它的微调模型则在超过 100 万个人工标注数据下完成。

这篇博客包含了所有的相关资源,以帮助您快速入门。包括以下跳转:

  • LLaMA 2 是什么?

  • 在 LLaMA 游乐场试玩

  • 模型背后的研究工作

  • 模型的性能有多好,基准测试

  • 如何正确地去提示聊天模型

  • 如何使用 PEFT 训练模型

  • 如何部署模型进行推理

  • 和其他资源

来自 Meta 官方的公告可以在这里找到: https://ai.meta.com/llama/

LLaMA 2 是什么?

Meta 发布的 LLaMA 2,是新的 sota 开源大型语言模型 (LLM)。LLaMA 2 代表着 LLaMA 的下一代版本,并且具有商业许可证。LLaMA 2 有 3 种不同的大小——7B、13B 和 70B 个可训练参数。与原版 LLaMA 相比,新的改进包括:

  • 在 2 万亿个标记的文本数据上进行训练

  • 允许商业使用

  • 默认使用 4096 个前后文本视野 (可以被扩展)

  • 70B 模型采用了分组查询注意力 (GQA)

  • 可由此获取 Hugging Face Hub

在 LLaMA 游乐场试玩

有几个不同的游乐场供与 LLaMA 2 来测试聊天:

  • HuggingChat 允许你通过 Hugging Face 的对话界面与 LLaMA 2 70B 模型聊天。这提供了一个简洁的方法来了解聊天机器人的工作原理。

  • Hugging Face Spaces 有三种大小的 LLaMA 2 模型 7B、13B 和 70B 可供测试。交互式演示可以让您比较不同的大小模型的区别。

  • Perplexity 他们的对话 AI 演示提供 7B 和 13B 的 LLaMA 2 模型。你可以与模型聊天并且反馈模型响应的不足。

LLaMA 2 背后的研究工作

LLaMA 2 是一个基础大语言模型,它由网络上公开可获取到的数据训练完成。另外 Meta 同时发布了它的 CHAT 版本。CHAT 模型的第一个版本是 SFT (有监督调优) 模型。在这之后,LLaMA-2-chat 逐步地经过人类反馈强化学习 (RLHF) 来进化。RLHF 的过程使用了拒绝采样与近端策略优化 (PPO) 的技术来进一步调优聊天机器人。Meta 目前仅公布了模型最新的 RLHF(v5) 版本。若你对此过程背后的过程感兴趣则请查看:

  • Llama 2: 开源并已微调的聊天模型

  • Llama 2: 一个超赞的开源大语言模型

  • Llama 2: 全面拆解

LLaMA 2 的性能有多好,基准测试?

Meta 声称 “Llama 2 在众多外部基准测试中都优于其他开源的语言模型,包括推理、编程、熟练程度与知识测验” 关于其性能你可以在这里找到更多信息:

  • Hugging Face 开源大语言模型排行榜

  • Meta 官方公告

如何提示 LLaMA 2 Chat

LLaMA 2 Chat 是一个开源对话模型。想要与 LLaMA 2 Chat 进行高效地交互则需要你提供合适的提示词、问题来得到合乎逻辑且有帮助的回复。Meta 并没有选择最简单的提示词结构。以下是单轮、多轮对话的提示词模板。这个模板遵循模型的训练过程,在此详细描述 LLaMA 2 论文. 你也可以看一看 LLaMA 2 提示词模板.

单轮对话

<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>
{{ user_message }} [/INST]

多轮对话

<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>
{{ user_msg_1 }} [/INST]{{ model_answer_1 }} </s><s>[INST]{{ user_msg_2 }} [/INST]{{ model_answer_2 }} </s><s>[INST]{{ user_msg_3 }} [/INST]

如何训练 LLaMA 2

因 LLaMA 2 为开源模型,使得可以轻易的通过微调技术,比如 PEFT,来训练它。这是一些非日适合于训练你自己版本 LLaMA 2 的学习资源:

  • 扩展指引: 指令微调 Llama 2

  • 在 Amazon SageMaker 上微调 LLaMA 2 (7-70B)

  • 使用 PEFT 技术微调

  • Meta 提供的 Llama 模型示例以及方案

  • 在本地机器上微调 LLAMA-v2 最简单的方法 !

如何部属 LLaMA 2

LLaMA 2 可以在本地环境中部署 (llama.cpp),使用这样已管理好的服务 Hugging Face Inference Endpoints 或通过 AWS, Google Cloud, and Microsoft Azure 这样的服务器平台.

  • 使用文本生成接口与推理终端来部署 LLama 2

  • 使用 Amazon SageMaker 部署 LLaMA 2 70B (即将完成)

  • 在你的 M1/M2 Mac 上通过 GPU 接口来本地部署 Llama-2-13B-chat

其他资源

  • Llama 2 资源

如果你想让我再增添一些章节或其他细节请联系我。我致力于提供基于 LLaMA 2 目前已公开信息的高质量概述。


原文作者: Philschmid

原文链接: https://www.philschmid.de/llama-2

译者: Xu Haoran

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/695363.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HarmonyOS开发技术全面分析

系统定义 HarmonyOS 是一款 “ 面向未来 ” 、面向全场景&#xff08;移动办公、运动健康、社交通信、媒体娱乐等&#xff09;的分布式操作系统。在传统的单设备系统能力的基础上&#xff0c;HarmonyOS提出了基于同一套系统能力、适配多种终端形态的分布式理念&#xff0c;能够…

python读写文件操作的三大基本步骤

目录 基本步骤 常用函数 open()函数 close()函数 read()函数 readlines()函数 readline()函数 write()函数 writelines()函数 with语句 读写操作的应用&#xff1a; 拷贝文件 with 语句的嵌套 逐行拷贝 基本步骤 1. 打开文件&#xff1a;open(filepath, mode, en…

探索亚马逊自养号测评的实际效果与使用感受

自养号在亚马逊测评中的应用给了我们一种全新的体验。通过使用亚马逊自养号&#xff0c;我们发现了许多令人满意的优势&#xff0c;这些优势不仅提升了我们的测评效率&#xff0c;还增加了我们的信誉度。 首先&#xff0c;自养号的质量可控性给了我们极大的信心。我们可以自行…

css中, grid-auto-rows: 怎样简写在grid:中

grid-auto-rows:100px; grid-template-columns:1fr 1fr; &#x1f446;可以写成&#x1f447; grid:auto-flow 100px / 1fr 1fr;在CSS Grid布局中&#xff0c;grid-auto-rows 属性用于指定自动生成的网格容器的行的大小。如果你想要将 grid-auto-rows 的值简写在 grid 属性中&a…

基于CNN-GRU-Attention的时间序列回归预测matlab仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 4.1 CNN&#xff08;卷积神经网络&#xff09;部分 4.2 GRU&#xff08;门控循环单元&#xff09;部分 4.3 Attention机制部分 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版…

【Vue渗透】Vue站点渗透思路

原文地址 极核GetShell 前言 本文经验适用于前端用Webpack打包的Vue站点&#xff0c;阅读完本文&#xff0c;可以识别出Webpack打包的Vue站点&#xff0c;同时可以发现该Vue站点的路由。 成果而言&#xff1a;可能可以发现未授权访问。 识别Vue 识别出Webpack打包的Vue站…

FFmpeg的HEVC解码器源代码学习笔记-1

一直想写一个HEVC的码流解析工具&#xff0c;看了雷神264码流解析工具&#xff0c;本来想尝试模仿写一个相似的265码流分析工具&#xff0c;但是发现265的解码过程和结构体和264的不太一样&#xff0c;很多结构体并没有完全暴露出来&#xff0c;没有想到很好的方法获得量化参数…

关键字查找,将匹配到的词标红

效果图&#xff1a; 候补 特别说明&#xff1a; 该文有很多新奇的用法&#xff0c;包括载入ui文件、连接信号和控件等等&#xff0c;有很多值得学习的地方 具体实现&#xff1a; 配置文件 #! [0] QT widgets uitoolsHEADERS textfinder.h SOURCES textfinder.cpp main.cpp…

自增a++和自减a--详细解析

1.自增、自减运算符是什么&#xff0c;有什么作用&#xff0c;需要注意什么? 、–;对当前变量值1、-1只能操作变量&#xff0c;不能操作字面量 2.自增、自减运算符放在变量前后有区别吗? 如果单独使用放前放后是没有区别的非单独使用:在变量前&#xff0c;先进行变量自增/…

unity学习(36)——角色选取界面(自制美工)

1.添加一个背景图片&#xff0c;记不住可以查之前的资料&#xff08;4&#xff09; 图片拖入asset&#xff0c;属性设成sprite&#xff1b;把图片拖到source image中&#xff1b;colour白色&#xff08;透明&#xff0c;点一下右边的笔即可&#xff09;&#xff1b;material为…

SpringCloud-Gateway网关的使用

本文介绍如何再 SpringCloud 项目中引入 Gateway 网关并完成网关服务的调用。Gateway 网关是一个在微服务架构中起到入口和路由控制的关键组件。它负责处理客户端请求&#xff0c;进行路由决策&#xff0c;并将请求转发到相应的微服务。Gateway 网关还可以实现负载均衡、安全认…

【零基础学习CAPL】——诊断报文发送

🙋‍♂️【零基础学习CAPL】系列💁‍♂️点击跳转 文章目录 1.概述2.调用CDD的诊断报文发送3.脱离CDD进行诊断报文4.多帧诊断报文的发送4.1.直接定义报文发送4.2调用osek_tp.dll进行多帧数据发送4.3.函数介绍4.4.CAPL脚本实现1.概述 本章主要介绍基于CAPL脚本对诊断报文的…

subprocess.check_output()和subprocess.run()的区别

subprocess.check_output() 返回值&#xff1a;subprocess.check_output() 返回命令的标准输出&#xff08;stdout&#xff09;。如果命令执行失败&#xff08;返回非零退出码&#xff09;&#xff0c;则抛出 CalledProcessError 异常。使用场景&#xff1a;只关心命令的输出&…

vue大文件读取部分内容,避免重复加载大文件,造成流量浪费

使用场景&#xff1a;项目点云地图是pcd文件&#xff0c;但是文件可能上百兆&#xff0c;我需要获取到文件中的版本信息&#xff0c;跟本地的缓存文件做比较&#xff0c;如果不一致&#xff0c;才会加载整个文件。从而节省流量。 避免重复加载整个“.pcd文件&#xff0c;以最大…

【PX4学习笔记】04.QGC地面站的使用

目录 文章目录 目录PX4代码烧入PX4固件代码的烧入方式1PX4固件代码的烧入方式2 QGC地面站的基础使用连接地面站的方式查看关键的硬件信息 QGC地面站的Application Settings模块Application Settings模块-常规界面单位其他设置数据持久化飞机中的数传日志飞行视图计划视图自动连…

观察者模式, 发布-订阅模式, 监听器模式

观察者模式, 发布-订阅模式, 监听器模式 观察者模式 观察者模式是一种行为型设计模式, 定义对象间的一种一对多的依赖关系&#xff0c;当一个对象的状态发生改变时&#xff0c;所有依赖于它的对象都得到通知并被自动更新 角色模型和结构图 在观察者模式中&#xff0c;只有两种…

HarmonyOS Stage模型基本概念讲解

本文 我们来说harmonyos中的一种应用模型 Stage模型 官方提供了两种模型 一种是早期的 FA模型 另一种就是就是 harmonyos 3.1才开始的新增的一种模型 Stage模型 目前来讲 Stage 会成为现在乃至将来 长期推进的一种模型 也就是 无论是 现在的harmonyos 4.0 乃至 之后要发布的 …

IP地理位置查询定位:技术原理与实际应用

在互联网时代&#xff0c;IP地址是连接世界的桥梁&#xff0c;而了解IP地址的地理位置对于网络管理、个性化服务以及安全监控都至关重要。IP数据云将深入探讨IP地理位置查询定位的技术原理、实际应用场景以及相关的隐私保护问题&#xff0c;旨在为读者提供全面了解和应用该技术…

印刷机械故障诊断:虹科MSR165助力Müller Martini AG成功案例

在为杂志装订机开发新产品的过程中&#xff0c;作为印刷后处理机械领域的全球领导者&#xff0c;Mller Martini AG公司发现了传感器故障的问题。通过使用虹科MSR 微型加速度数据记录仪&#xff0c;成功地确定了故障的原因。 新杂志装订机中的三刀修整装置的故障部件是边缘传感器…

BOSS直聘招聘经验

招聘低端兼职岗位。流量很大&#xff0c;来的人通常实力也不足。 招聘高端兼职岗位。流量不多。来的人通常具备一定实力。 招聘高薪职位&#xff0c;流量一般&#xff0c;会有有实力的勾搭。 招聘低薪职位&#xff0c;流量一般。通常没什么实力。