在电脑本地运行llama3-8b模型

文章目录

  • 流程
  • 我的
  • 案例
  • api调用
    • llama.cpp

流程

ollama支持可运行的模型,图片这里只是一部分而已,只需要下载下面的软件和模型文件,即可直接运行,而无需配置其他
模型文件下载地址
https://ollama.com/library
支持的部分模型,实际上更多,这里只是显示部分
在这里插入图片描述

登陆ollama官网
https://ollama.com/download
下载对应你电脑的软件即可
在这里插入图片描述

我的

因为我本地已经有一个gguf模型了,我的需求是将这个模型加载进ollama,然后运行
因此我在桌面建了一个txt文件
内容为:

FROM C:/Users/Administrator/.ollama/models/blobs/LexiFun-Llama-3-8B-Uncensored-V1_Q8_0.gguf# set prompt template
TEMPLATE """[INST] <<SYS>>{{ .System }}<</SYS>>{{ .Prompt }} [/INST]
"""# set parameters
PARAMETER stop "[INST]"
PARAMETER stop "[/INST]"
PARAMETER stop "<<SYS>>"
PARAMETER stop "<</SYS>>"# set system message
SYSTEM """
you are a good assistant
"""

意思是导入gguf模型文件,设定回答模板,为模型指定角色
然后使用ollama根据这个text设置,将本地模型安装进ollama,为其指定名字为ll3

ollama create ll3 -f  c:/00mycfile/desktops/文档/modelCmd.txt

在这里插入图片描述
后续如果要运行,不再需要重新安装,只需要

ollama run ll3

若是想要移除这个模型,将run改册成rm

案例

下载好后运行,
进入cmd窗口
在这里插入图片描述
查看版本

ollama -v

查看已经安装的模型

ollama list

ollama 还可以以 API 的方式调用,比如执行 ollama show --help 可以看到本地访问地址为:http://localhost:11434![
在这里插入图片描述
https://ollama.com/library
打开llama的模型网站,我们随机选择一个模型,就可以看到
在这里插入图片描述

复制上面的命令

ollama run llama2-uncensored

输入cmd窗口,模型即可自动下载与安装,
然后使用

ollama list

查看即可
然后可以使用

ollama run   模型名

运行安装的模型

运行模型后的可用命令
显示帮助命令-/?
/?
Available Commands:
/set Set session variables
/show Show model information
/load Load a session or model
/save Save your current session
/bye Exit
/?, /help Help for a command
/? shortcuts Help for keyboard shortcuts

Use “”" to begin a multi-line message.
显示模型信息命令-/show
/show
Available Commands:
/show info Show details for this model
/show license Show model license
/show modelfile Show Modelfile for this model
/show parameters Show parameters for this model
/show system Show system message
/show template Show prompt template
显示模型详情命令-/show info
/show info

这样一个模型就运行在本地了

api调用

generate 接口

curl http://localhost:11434/api/generate -d '{"model": "gemma:2b","prompt":"你是一个好助手吗?"
}'

每个词将会分段返回
如果想要一次性返回可以加参数"stream": false

chat接口

curl http://localhost:11434/api/chat -d '{"model": "gemma:2b","messages": [{ "role": "user", "content": "你是好助手吗?" }]
}'

generate 是一次性生成的数据。chat 可以附加历史记录,多轮对话。

llama.cpp

llama.cpp的主要目标是能够在各种硬件上实现LLM(大型语言模型)推理,提供1.5位、2位、3位、4位、5位、6位和8位整数量化,用来减小内存使用和加快推理速度.当然精度会变差,其作用是给模型瘦身
https://github.com/ggerganov/llama.cpp/releases
下载这个工具,根据需要下载
在模型瘦身之前,目录结构如下
在这里插入图片描述
这只是一个案例参考,模型文件根据你的需要会有不同
gguf是一个包文件,打包了所有运行模型需要的配置以及参数,方便快速部署,而不是需要多个软件分别加载
将其打包为gguf代码如下,如果已经有gguf文件,则忽略

python .\convert.py C:\llama-2-13b-chat

进行精度转换,32位转4位瘦身,可以将原本16g的gguf模型缩小为4g左右

quantize.exe C:\ggml-model-f32.gguf C:\ggml-model-Q4_0.gguf Q4_0

然后运行这个gguf如同之前一样就可以了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/13235.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

cpu卡片详解(FM1208)

​ 目录 ​1. 引言 1.1 FM1208 CPU卡芯片 2. FM1208 CPU卡芯片概述 2.1 FM1208及其在智能卡中的作用 2.2 FM1208功能框图 3.FM1208的技术规格 4.FM1208工作流程 5.&#xff26;&#xff2d;1208文件结构 6.FM1208与其他智能卡技术的比较 7.FM1208安全特性 7.1 DES/…

解决kali Linux2024无法获取动态IPv4地址(DHCP)解决方案

用root用户启动终端 进入根目录&#xff0c;选择配置文件 cd到根目录下/../etc/network找到interfaces文件 编辑interfaces文件 vi interfaces&#xff0c;编辑interfaces文件 输入如下命令 打开虚拟网络编辑器 选择虚拟机选项卡&#xff0c;编辑&#xff0c;打开虚拟网络编…

C语言笔记17

指针4 1.数组与指针笔试题型 //1.一维数组 int main1() {int a[] = { 1,2,3,4 };printf("%d\n", sizeof(a)); //16 特例: sizeof(数组名) 表示数组的空间大小printf("%d\n", sizeof(a + 0)); //第一个元素地址: 4(32位系统)/8(64位系统)printf(&q…

广西壮族自治区工程系列生态环境行业技术资格评审条件

广西壮族自治区工程系列生态环境行业技术资格评审条件评审文件链接广西壮族自治区人力资源和社会保障厅网站评审工作的通知关于开展2023年度工程系列生态环境行业职称评审工作的通知 - 职称评审 - 广西壮族自治区生态环境厅网站类别基本条件业绩成果论文、著作条件工程师一、获…

织梦dedecms企业网站模板安装教程

很多新手在拿到织梦模板后不知道如何安装&#xff0c;所以&#xff0c;云部落(Yunbuluo.Net)资源网专门整理了一份图文版织梦模板通用安装教程&#xff0c;希望对大家有所帮助。 第一步&#xff1a; 将域名解析绑定好之后&#xff0c;上传下载的模板至您的WEB根目录中&#xf…

JavaScript与数据库MongoDB的梦幻联动:打造高效的数据驱动应用-【代码示例】

JavaScript与数据库MongoDB的梦幻联动&#xff1a;打造高效的数据驱动应用【代码示例】 一、基本概念与作用1. JavaScript2. MongoDB 二、JavaScript与MongoDB的联动1. 环境准备2. 连接到MongoDB3. 定义数据模型4. 数据操作插入数据查询数据更新数据删除数据 三、性能与安全考虑…

【再探】设计模式—桥接模式、组合模式及享元模式

结构型设计模式描述了对象与类之间的关系。适配器模式及装饰器模式主要用于接口适配及功能增强&#xff0c;而桥接模式模式则是为了减少类的数量&#xff0c;组合模式让部分与容器能被客户端统一对待处理&#xff0c;享元模式则是用于节约系统内存&#xff0c;提高系统性能。 …

机器学习之sklearn基础教程(第五篇:特征选择和降维)

机器学习之sklearn基础教程&#xff08;第五篇&#xff1a;特征选择和降维&#xff09; 1. 特征选择 特征选择是从原始特征集中选择对任务有用的特征的过程。选择正确的特征可以提高模型的性能、减少训练时间和复杂度&#xff0c;并帮助我们更好地理解数据。 以下是几种常见的…

52. UE5 RPG 应用自定义FGameplayEffectContext到项目

在前面一篇文章中&#xff0c;我们创建了自定义的FGameplayEffectContext结构体&#xff0c;用于存储所需的内容。在自定义的结构体内&#xff0c;我们主要是为了增加暴击和格挡两个参数&#xff0c;用于后面的UI显示给玩家&#xff0c;让玩家知道当前触发的状态。并且我们还对…

分布式与一致性协议之PBFT算法(一)

PBFT算法 概述 前面提到了拜占庭将军问题之后&#xff0c;有人可能会感到困惑:口信消息型拜占庭问题直接在实际项目中是如何落地的呢&#xff1f;事实上&#xff0c;它很难在实际项目中落地&#xff0c;因为口信消息型拜占庭问题之解是一个非常理论化的算法&#xff0c;没有与…

区块链数据集(一)Xblock

一、Transaction Datasets Ethereum On-chain Data [Dataset] 2021-10TransactionData/Code AvailableEthereum Introduction: This is the dataset of paper “XBlock-ETH: Extracting and Exploring Blockchain Data From Ethereum”. Data / Code Paper CiteDownloads: …

【Python大数据】PySpark

CSDN不支持多个资源绑定&#xff0c;另外两个数据文件下载&#xff1a; 订单数据-json.zip search-log.zip Apache Spark是用于大规模数据(large-scala data)处理的统一(unified)分析引擎 简单来说&#xff0c;Spark是一款分布式的计算框架&#xff0c;用于调度成百上千的服…

openFeign 调用后 返回 出现 application/json 错误

项目场景&#xff1a; 远程调用时返回json格式错误 项目场景&#xff1a;从分页插件式改换为原生分页的时候 通过openFeign调用时发现了问题 问题描述 不需要openFeign 调用的时候 返回的数据和格式是对 通过openFeign 调用后返回 出现 application/json 错误 &#xff1a; …

5万字带你一文看懂自动驾驶之高精度地图前世今生

在讲解高精度地图之前&#xff0c;我们先把定位这个事情弄清楚&#xff0c;想明白&#xff0c;后面的事情就会清晰很多&#xff0c;自古哲学里面讨论的人生终极问题&#xff0c;无非就三个&#xff0c;我是谁&#xff0c;我从哪里来&#xff0c;我要去哪里&#xff0c;这里的位…

构建智慧设施管理平台:数字化引领未来建筑行业发展

随着城市化进程的不断推进和建筑行业的持续发展&#xff0c;智慧设施管理平台的重要性日益凸显。在这一背景下&#xff0c;构建智慧设施管理平台成为推动建筑行业数字化转型的关键举措。本文将深入探讨智慧设施管理平台的构建与优势&#xff0c;助力建筑企业把握数字化转型的主…

头歌实践教学平台——Python程序设计之语言基础

1.1 四则运算(project) 整数四则运算 """ 试编程实现分两行输入两个非零整数&#xff0c;并在4 行中按顺序输出两个数的加、减、乘、除的计算结果。 要求输出与如下示例格式相同&#xff0c;符号前后各有一个空格。 """#输入整数变量a和b&#x…

7-139 有趣的括号

括号()的组合千奇百怪,Drizzle 想知道各种组合的括号可以是否合法 合法要求:每个同类型的左括号必须有与之对应的同类的右括号以正确的顺序闭合 要求: 输入:输入一个括号字符串 输出:输出是否合法,是则True,否则False 示例: 输入: (){}[]输出: True范围: 对于 1…

html+js光标操作

光标设置id为username的字段 window.addEventListener("load", function() {document.getElementById("username").focus(); }); 光标在username的时候点击enter回车键的时候光标移动到id为password的input里面 document.getElementById("username…

【从零开始学架构 架构基础】二 架构设计的复杂度来源:高性能复杂度来源

架构设计的复杂度来源其实就是架构设计要解决的问题&#xff0c;主要有如下几个&#xff1a;高性能、高可用、可扩展、低成本、安全、规模。复杂度的关键&#xff0c;就是新旧技术之间不是完全的替代关系&#xff0c;有交叉&#xff0c;有各自的特点&#xff0c;所以才需要具体…

always on 可用行分析及部署操作

一、Always On 可用性分析 Always On 是 SQL Server 提供的一种高可用性和灾难恢复解决方案。它通过允许数据库在多个 SQL Server 实例之间自动故障转移,从而确保业务的连续性。以下是对 Always On 的可用性分析: 高可用性:Always On 通过创建可用性组,将数据库同步到多个…