【部署LLaMa到自己的Linux服务器】

部署LLaMa到自己的Linux服务器

  • 1、Llama2 项目获取
    • 方法1:有git可以直接克隆到本地
    • 方法2:直接下载
  • 2、LLama2 项目部署
  • 3、申请Llama2许可
  • 4、下载模型权重
  • 5、运行

1、Llama2 项目获取

方法1:有git可以直接克隆到本地

创建一个空文件夹然后鼠标右键,然后输入git clone https://github.com/facebookresearch/llama.git
在这里插入图片描述

方法2:直接下载

打开网站LLaMa git 官方,直接下载zip文件就行
在这里插入图片描述

2、LLama2 项目部署

这里在conda中创建一个虚拟环境conda create -n 环境名字 python=x.x
创建成功之后使用cd命令或者直接在LLaMa文件夹右键打开终端,输入

# 常规安装命令pip install -e .# 国内环境可以使用清华源加速pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

这一步目的是安装LLama2运行所需要的依赖

3、申请Llama2许可

要想使用Llama2,首先需要向meta公司申请使用许可,否则你将无法下载到Llama2的模型权重。填入对应信息(主要是邮箱)后,勾选页面最底部的 “I accept the terms and conditions”,点击 “Accept and Continue”,跳转到下图界面即可。

申请网站需要科学上网:Request access to the next version of Llama
在这里插入图片描述
然后对应的邮箱得到验证的链接,这个https://download.llamameta.net/*? 开头的一大串链接即为下面下载模型时需要验证的内容。
在这里插入图片描述

4、下载模型权重

在LLaMa文件夹中打开终端,运行download.sh文件。./download.sh
第一个输入邮件中给你的超长链接,第二个输入你需要的模型。
我是选择7B和7B-chat
在这里插入图片描述

5、运行

下载完成之后,就可以使用啦

# 句子补全torchrun --nproc_per_node 1 example_text_completion.py \     --ckpt_dir llama-2-7b/ \     --tokenizer_path tokenizer.model \     --max_seq_len 128 --max_batch_size 4# 对话生成torchrun --nproc_per_node 1 example_chat_completion.py \     --ckpt_dir llama-2-7b-chat/ \     --tokenizer_path tokenizer.model \     --max_seq_len 512 --max_batch_size 4

命令的含义是

  • torchrun 是一个PyTorch提供的用于分布式训练的命令行工具
  • --nproc_per_node 1 这个选项指定在每个节点上使用1个GPU。意味着每个训练节点(可能是单个GPU或多个GPU)只使用一个GPU
  • --ckpt_dir llama-2-7b/和--tokenizer_path tokenizer.model 主要指定使用的模型和tokenizer的路径。这个可以在对应.py文件中写死入参避免重复指定。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/627393.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

蓝牙网关G602

一、产品概述 G602是一款支持蓝牙4.2/5.0的蓝牙网关,主处理器采用580MHz的MIPS24KEc处理器,DRAM为DDR2 64MB,16MB FLASH。G602蓝牙网关集成PA和LNA,蓝牙扫描和连接距离可以达到100米以上,极大的增加了覆盖范围&#x…

CORS漏洞学习

CORS漏洞属于一个协议漏洞,具体是由于同源策略的设置问题触发的漏洞,漏洞利用条件较为苛刻,但实战中也常见。 首先要了解同源策略 什么是同源策略? 同源策略是一种Web浏览器安全机制,旨在防止网站相互攻击。 同源策…

LeetCode刷题——394. 字符串解码(HOT100)

✊✊✊🌈大家好!本篇文章将较详细介绍栈的题目394. 字符串解码,提供栈和递归两种解法。代码语言为:C代码😇。 🎡导航小助手🎡 394. 字符串解码🔒1、题目:☀️2、思路&…

数学建模-Matlab R2022a安装步骤

软件介绍 MATLAB是一款商业数学软件,用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境,主要包括MATLAB和Simulink两大部分,可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程…

2024年【危险化学品经营单位主要负责人】考试报名及危险化学品经营单位主要负责人考试资料

题库来源:安全生产模拟考试一点通公众号小程序 危险化学品经营单位主要负责人考试报名考前必练!安全生产模拟考试一点通每个月更新危险化学品经营单位主要负责人考试资料题目及答案!多做几遍,其实通过危险化学品经营单位主要负责…

NeRF 其三:Instant-NGP

NeRF 其三:Instant-NGP 1. 球谐函数1.1 NeRF 中球谐函数的作用1.2 球谐函数1.2.1 当阶数 j 0 j0 j0 时, m 0 m0 m0:1.2.2 当阶数 j 1 j1 j1 时, m 0 m0 m0:1.2.3 当阶数 j 1 j1 j1 时, m 1 m1 m1&…

SSL弱加密算法的漏洞研究

文章目录 一、什么是 SSL二、SSL/TLS 协议作用三、SSL/TLS 协议的基本思路四、如何保证公钥不被篡改?五、SSLSCAN工具1、下载和安装2、使用六、免责声明一、什么是 SSL SSL 代表安全套接字层。它是一种用于加密和验证应用程序(如浏览器)和 Web 服务器之间发送的数据的协议。…

vue中设置注释模板

参考地址 ctrlshiftp 打开编辑器配置输入configure user snippets - 选择 new global snipp files - 命名为 vueComment,弹出注释模板,即可自定义注释 如下/// 回车 即可在代码块中使用注释 { "Print to console": {"prefix": &q…

什么是游戏盾,游戏盾是如何做到免疫攻击的

什么是游戏盾:游戏盾是针对游戏行业面对的DDoS、CC攻击推出的针对性的网络安全解决方案,相比高防IP,除了能针对大型DDoS攻击(T级别)进行有效防御外,还具备彻底解决游戏行业特有的TCP协议的CC攻击问题能力&a…

拖拽不够自由?Vue3 DnD它来了!

前言 众所周知,在React中有一款非常强大的拖拽库,叫React DnD,而Vue中,大部分都是类似于vue.draggable等拖拽排序的库,然而它并不能满足我们所有的需求,特别是应对一些自由拖拽或混合拖拽的场景(例如&…

OpenHarmony之HDF驱动开发流程指导

开发指导 场景介绍 关于驱动的开发我们主要目的是实现驱动代码的编写,但是驱动开发过程中需要服务管理、消息机制管理,才能使驱动在代码编译过程中进行加载。以下开发步骤中介绍了驱动开发、驱动消息机制管理开发、驱动服务管理开发的步骤。 驱动开发…

henauOJ 1104: 单词数

题目描述 lily的好朋友xiaoou333最近很空,他想了一件没有什么意义的事情,就是统计一篇文章的单词总数。下面你的任务是帮助xiaoou333解决这个问题。 输入 有多组数据,每组一行,每组就是一篇小文章。每篇小文章都是由小写字母和…

spring boot mybatis-plus dynamic-datasource 配置文件 相关依赖环境配置

spring boot mybatis-plus dynamic-datasource 配置文件 相关依赖环境配置 ##yaml配置 server:port: 8866servlet:context-path: /yymtomcat:max-threads: 300connection-timeout: 57000max-connections: 500connection-timeout: 57000 spring:datasource:dynamic:primary: m…

二叉树遍历C++

假设二叉树上各结点的权值互不相同且都为正整数。 给定二叉树的后序遍历和中序遍历,请你输出二叉树的前序遍历的最后一个数字。 输入格式 第一行包含整数 N,表示二叉树结点总数。 第二行给出二叉树的后序遍历序列。 第三行给出二叉树的中序遍历序列。 …

【IPC通信--共享内存mmap】

共享内存是一种高效的进程间通信方式,可以在多个进程之间共享数据,提高程序的效率。mmap是一种常用的实现共享内存的机制,它可以将一个文件或者设备映射到内存中,使得多个进程可以通过访问这块内存来实现数据共享。 一、共享内存…

SpringBoot 源码解析4:refresh 方法解析

SpringBoot 源码解析4:refresh 方法解析 1. refresh 方法解析2. 准备刷新 AbstractApplicationContext#prepareRefresh3. 获取bean工厂 AbstractApplicationContext#obtainFreshBeanFactory4. 准备bean工厂 AbstractApplicationContext#prepareBeanFactory5. Servle…

Java学习,一文掌握Java之SpringBoot框架学习文集(6)

🏆作者简介,普修罗双战士,一直追求不断学习和成长,在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验,历任核心研发工程师,项目技术负责人。 🎉欢迎 👍点赞✍评论…

1、docker常用操作

docker常用操作 1、启动docker2.容器2.1创建容器2.2查看容器2.3启动容器 3、镜像3.1查看镜像3.2创建镜像 4、在宿主机和容器之间交换⽂件5、docker 容器之间通信5.1查看网络5.2创建网络5.3容器连接到网络5.4网络端口映射5.5Docker的跨主机网络访问 1、启动docker 参考&#xf…

Linux 修改文件名称的三种方法

修改文件名称是 Linux 系统中常见的操作之一。有三种方法可以修改文件名称: 1. 使用 mv 命令 mv 命令是用于移动或重命名文件的命令。要使用 mv 命令重命名文件,请使用以下语法: mv old_file_name new_file_name 例如,要将文件…

阿里国际站运营每天具体做什么工作?附运营方法!

相信很多刚接触阿里国际站的运营人员都会迷茫,没有思路还容易产生焦虑,主要就是担心运营没效果!今天大白就带着大家一起揭秘阿里国际站运营每天必做的事情都有哪些,带你更好地了解阿里国际站应该如何运营! 阿里国际站运…