本地运行LlaMA 2的简易指南

大家好,像LLaMA 2这样的新开源模型已经变得相当先进,并且可以免费使用。可以在商业上使用它们,也可以根据自己的数据进行微调,以开发专业版本。凭借其易用性,现在可以在自己的设备上本地运行它们。

本文将介绍如何下载所需的文件和LLaMA 2模型,以运行CLI程序并与AI助手进行交互。设置非常简单,即使是非技术用户或学生也可以按照这几个基本步骤进行操作。

1.下载Llama.cpp用于GPU机器

要在本地安装llama.cpp,最简单的方法是从llama.cpp releases中下载预编译的可执行文件。

要在配备有NVIDIA GPU的Windows 11上安装它,我们首先需要下载llama-master-eb542d3-bin-win-cublas-[version]-x64.zip文件。下载完成后,将其解压缩到你选择的目录中。建议创建一个新文件夹并将所有文件提取到其中。

接下来,我们将下载cuBLAS驱动程序cudart-llama-bin-win-[version]-x64.zip,并将其解压缩到主目录中。要使用GPU加速,你有两个选项:NVIDIA GPU的cuBLAS和AMD GPU的clBLAS

注意:[version]是指本地系统上安装的CUDA版本。可以通过在终端中运行nvcc --version来检查它。

图片

2.下载模型

首先,在主目录中创建一个名为“Models”的文件夹。在Models文件夹中,创建一个名为“llama2_7b”的新文件夹。接下来,从Hugging Face hub下载LLaMA 2模型文件。大家可以选择任何喜欢的版本,本指南将下载llama-2-7b-chat.Q5_K_M.gguf文件。下载完成后,将文件移动到刚刚创建的“llama2_7b”文件夹中。

图片

注意:为了避免出现任何错误,请确保在运行模型之前只下载.gguf模型文件。

 3.启动AI助手CLI程序

现在可以在主目录中打开终端。通过右键单击并选择“Open in Terminal”选项,也可以打开PowerShell并使用“cd”来更改目录。

图片

复制并粘贴下面的命令,然后按“Enter”键,正在执行带有模型目录位置、gpu、颜色和系统提示参数的main.exe文件。

./main.exe -m .\Models\llama2_7b\llama-2-7b-chat.Q5_K_M.gguf -i --n-gpu-layers 32 -ins --color -p "<<SYS>> As an AI assistant, your core values include being supportive, considerate, and truthful, ensuring that every interaction is guided by clarity and helpfulness. <</SYS>>"

图片

llama.ccp CLI程序已成功初始化并附带了系统提示,这是一个有用的AI助手,并显示了各种可用的命令。

4.在PowerShell中本地使用LLaMA 2

通过提供提示在PowerShell中测试LLaMA 2,提出了一个关于地球年龄的简单问题。

图片

答案非常准确,接着问一个关于地球的后续问题。

正如所看到的,该模型提供了有关我们星球的多个有趣事实。

图片

可以要求AI助手在终端中生成代码和解释,然后可以很轻松地复制并在集成开发环境(IDE)中使用。

在本地运行LLaMA 2提供了一个功能强大且易于使用的定制化聊天机器人体验。通过按照这个简单的指南操作,可以快速学习如何建立、设置自己的私人聊天机器人,而不需要依赖付费服务。

在本地运行LLaMA 2的主要优势是对数据和对话的完全控制,以及没有使用限制,可以与机器人进行无限次数的聊天,甚至可以对其进行微调以改善回答。

虽然与即时可用的云AI API相比时不太方便,但本地设置可以保护数据隐私,数据将完全存储在自己的设备上,无需担心泄露。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/636040.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

@RequestBody注解基础

RequestBody RequestBody注解一般与post方法使用。 一个请求中只能存在一个RequestBody注解。 RequestBody 用于接收前端传递给后端的json字符串中的数据。&#xff08;处理json格式的数据&#xff09; 语法格式&#xff1a; ​(RequestBody Map map) (RequestBody Object obje…

numpy数组的max、min、argmax和argmin计算方法

numpy数组的max、min、argmax和argmin计算方法 官方对numpy.max和numpy.min的说明 numpy.max 参考官方的理解 数组&#xff1a; 24611529 import numpy as npif __name__ __main__:a np.array([[2, 4, 6, 1], [1, 5, 2, 9]])print(a)print(np.argmax(a, axis0)) # ax…

Java医院信息管理系统

技术框架&#xff1a; springboot shiro layui jquery thymeleaf nginx 有需要的可以联系我。 运行环境&#xff1a; jdk8 mysql IntelliJ IDEA maven项目功能&#xff1a; 本项目是用springbootlayuishiro写的医院管理系统&#xff0c;系统的业务比较复杂&#x…

11 - PXC集群|MySQL存储引擎

PXC集群&#xff5c;MySQL存储引擎 数据库系列文章PXC集群配置集群测试集群 MySQL存储引擎存储引擎介绍mysql服务体系结构mysql服务的工作过程处理查询访问的工作过程处理存储insert访问的工作过程 什么是搜索引擎 存储引擎管理查看存储引擎修改存储引擎 存储引擎特点myisam存储…

canvas能压缩图片?

之前写过一篇使用命令行工具压缩图片的博文&#xff1a;使用yx-tiny命令行工具进行图片压缩&#xff0c;大家感兴趣可以去瞅一眼。 这篇简单说一下使用canvas压缩图片 其实思路很简单&#xff0c;我们选择了图片之后&#xff0c;会获取到对应的文件流对象&#xff0c;然后我们…

jvm复习,深入理解java虚拟机一:运行时数据区域

程序计数器&#xff08;Program Counter Register&#xff09; 它是程序控制流的指示器&#xff0c;简单来说&#xff0c;为了线程切换后能恢复到正确的执行位置&#xff0c;每条线程都需要有一个独立的程序计数器 Java虚拟机栈&#xff08;Java Virtual Machine Stack&#xf…

【LeetCode每日一题】2809. 使数组和小于等于 x 的最少时间

2024-1-19 文章目录 [2809. 使数组和小于等于 x 的最少时间](https://leetcode.cn/problems/minimum-time-to-make-array-sum-at-most-x/)思路&#xff1a; 2809. 使数组和小于等于 x 的最少时间 思路&#xff1a; 获取两个列表的长度n&#xff0c;并初始化一个二维数组f&…

一种更快的Kmeans原理与实现

普通的k-means实现大多需要多轮迭代,一轮需要O(n * k)的复杂度,其中n是数据量,k是聚类的数量。观察到大部分地方的标准均值中的大多数距离计算都是冗余的。 所以Elkan-Kmeans通过三角不等式来优化这一过程,减少无效计算。 困难在于三角不等式给出了上界,但我们需要下界以…

《微信小程序开发从入门到实战》学习八十六

6.15 设备API 6.15.5 屏幕亮度API 使用wx.setScreenBrightness可设置屏幕亮度。示例代码如下&#xff1a; wx.setScreenBrightness({ value: 0.5, // 屏幕亮度值&#xff0c;范围0~1,1表示最亮 success() {} }) 使用wx.getScreenBrightness可获取屏幕亮度&#xff0c;示例代…

我在提交代码的时候突然发现别人刚才提交了一点代码,我没有拉取导致问题,请问怎么解决

问: 回答: 问: 我跟随输入git pull ,然后又以下提示: Merge branch systemPower_dev of https://xxxx.com into xxxx_dev # Please enter a commit message to explain why this merge is necessary, # especially if it merges an updated upstream into a topic branch. …

C# 十大排序算法

以下是常见的十大排序算法&#xff08;按照学习和实现的顺序排列&#xff09;&#xff1a; 冒泡排序&#xff08;Bubble Sort&#xff09;选择排序&#xff08;Selection Sort&#xff09;插入排序&#xff08;Insertion Sort&#xff09;希尔排序&#xff08;Shell Sort&…

LLM设计原理学习笔记

1 设计原则 &#xff08;1&#xff09;不要将多模态特征直接线性相加 博文《马毅LeCun谢赛宁曝出多模态LLM重大缺陷&#xff01;开创性研究显著增强视觉理解能力》描述了多模态encoding线性相加带来的问题&#xff1b;

推荐几种常用Web前端开发工具

工欲善其事&#xff0c;必先利其器。一个好的编辑器&#xff0c;往往能帮助开发人员提高编码效率。下面为大家推荐几款前端常用的编辑器。 1.websorm WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的H…

【VTKExamples::PolyData】第九期 ExtractCellsUsingPoints

很高兴在雪易的CSDN遇见你 VTK技术爱好者 QQ:870202403 前言 本文分享VTK样例ExtractCellsUsingPoints,并解析vtkSelectionNode接口,希望对各位小伙伴有所帮助! 感谢各位小伙伴的点赞+关注,小易会继续努力分享,一起进步! 你的点赞就是我的动力(^U^)ノ~YO 目录…

SELF自动化指令集构建代码实现

SELF-Instruct paper: 2022.12, SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions https://github.com/yizhongw/self-instruct https://github.com/tatsu-lab/stanford_alpaca#data-generation-process 一语道破天机&#xff1a;类似非线性插值&a…

plt.animation绘制动画

目录 一&#xff1a;介绍 二&#xff1a;创建线动画 一&#xff1a;介绍 matplotlib.animation 是 Matplotlib 库中的一个模块&#xff0c;用于创建动画。它提供了多种工具和函数&#xff0c;使您能够轻松地创建各种类型的动画。 二&#xff1a;创建线动画 import numpy as…

flask 与小程序 购物车删除和编辑库存功能

编辑 &#xff1a; 数量加减 价格汇总 数据清空 mina/pages/cart/index.wxml <!--index.wxml--> <view class"container"><view class"title-box" wx:if"{{ !list.length }}">购物车空空如也&#xff5e;</view>…

【Linux】第三十站:进程间通信

文章目录 一、是什么二、为什么三、怎么办四、管道1.什么是管道2.管道的原理3.接口4.编码实现5.管道的特征6.管道的四种情况 一、是什么 两个或者多个进程实现数据层面的交互 因为进程独立性的存在&#xff0c;导致进程通信的成本比较高 通信是有成本的&#xff0c;体现在要打破…

Curl- go的自带包 net/http实现

Curl- go的自带包 net/http实现 case http包中的Request 发送请求的步骤&#xff1a;1. 创建客户端 2. 发送请求 3. 接受响应 client : &http.Client{}req, _ : http.NewRequest("POST", url, nil) // request中有很多参数可以设置//设置头部 req.Header.se…

【禅道】的介绍及安装使用

文章目录 一、禅道入门1.1 概述1.2 特点1.2.1 私有化部署&#xff08;禅道&#xff09;&#xff1a;1.2.2 SaaS云部署&#xff08;云禅道&#xff09;&#xff1a; 1.3 安装1.4 启动禅道 二、禅道的使用2.1 编辑公司信息2.2 搭建组织架构2.2.1 创建部门2.2.2 增加员工 2.2 产品…