LLama3大模型本地部署 仅需6步完成对话模型本地安装部署。附送可视化ui安装、自定义模型目录,修改模型保存地址,第三方微调模型、中文模型下载地址

本篇分为三部分
一:6步完成llama3大模型本地部署
二:8步完成llama3可视化对话界面安装
三:重设模型文件路径
四:微调模型、中文模型下载资源分享

一、LLama3 大模型本地部署安装

  1. 首先去mata官网下载ollama客户端
    Ollama
    在这里插入图片描述
    选择合适的操作系统平台后点击dowload按钮等待下载完成即可。
    我使用的是windows系统,所以先点windows再点download按钮下载。

  2. 下载完成后,双击文件进行安装
    在这里插入图片描述
    安装完成后会提示你默认启动命令,不需要管这个关闭即可。

  3. 打开cmd控制台,键入ollama,如果如下图显示命令提示就说明安装已经成功
    在这里插入图片描述

  4. 进入官网找到想要下载的模型名称 https://ollama.com/library/llama3/tags。 如果你使用的是普通电脑,建议选择8b(80亿参数)
    在这里插入图片描述

  5. 控制台中键入ollama run llama3:8b,会自动进行8B模型下载,该模型有80亿参数,普通电脑可以执行。如果想要70B可以修改为入ollama run llama3:70b。按回车键就开始下载并自动安装
    在这里插入图片描述

  6. 当提示success时,说明已经成功安装了大模型。

  7. 测试

接下来就到了装逼环节,直接在控制台中进行对话吧。 因为8b是官方英文模型,所以在控制台中还不支持中文,你需要下载中文微调模型才能进行中文对话。
我们问了两个问题,第一个触及非法操作,由于安全限制回答被拒绝
第二个用拼错的单词问他怎么煮饭,8b模型 正常地识别并回答了问题。现在看来效果还可以。
在这里插入图片描述

到此我们就完成了大模型llama的安装。还挺简单是吧?

二、LLAMA3 安装可视化交互界面

控制台调用总不是个办法,还是得穿上裤子弄个拉皮,我们搞个可视化对话界面吧

  1. 首先确保系统中已经安装了nodejs和git,如果没有可以自己去官网下载安装https://nodejs.org/en
  2. 打开cmd控制台,键入node -v,如果显示vxx.xx.x.就说明安装成功了。
  3. 在cmd控制台中键入git clone https://github.com/ollama-webui/ollama-webui-lite.git 添加资源镜像
  4. 在cmd控制台键入mkdir llama在当前路径下创建一个叫llama的文件夹,然后键入cd llama进入该文件夹下
  5. 在cmd控制台键入 git clone https://github.com/ollama-webui/ollama-webui-lite.git 将web ui界面下载回来
  6. 在cmd控制台键入cd ollama-webui-lite 进入web ui项目文件夹
  7. 在cmd控制台键入 npm install,安装环境与依赖
  8. 在cmd控制台键入 npm run dev,启动web ui系统
    在这里插入图片描述
    这时会返回两个地址,local地址是本机可访问的地址,network是局域网内其他电脑可以访问的地址。我们直接复制local地址到浏览器上就能看到llama的可视化界面了
    在这里插入图片描述
    然后点击Select a model 设置模型,我们选中已经下载好的8b模型
    在这里插入图片描述
    现在就可以在下方输入框进行输入对话了
    在这里插入图片描述
    到此完成llama3本地可视化部署

三、设置模型文件位置

默认模型文件会下载到C:\Users\用户名.ollama\models,中国人的习惯就是c盘容量小e盘容量大。所以需要重新设置磁盘位置。

  1. 在e盘下创建目标文件夹
  2. 将C:\Users\用户名.ollama下的models文件夹整个移动到新创建的文件夹下
  3. 打开系统属性页面,点击环境变量按钮,弹出设置窗口
    在这里插入图片描述
    点击“心间按钮”,在“变量名”键入 OLLAMA_MOKDELS, 在"变量值"中填入刚刚移动到新位置的models路径,点击确定即可按成

在这里插入图片描述
4. 重启ollama客户端,然后在命令行中键入 ollama list,如果可以查看模型列表就说明修改成功了
在这里插入图片描述

四、第三方微调模型、中文资源下载

如果需要解除限制,或是其他微调功能,可以在https://huggingface.co下载其他人搞好的模型。
都是免费自由下载,很方便。

下周将完善自由微调llama和对接预研llama的教程

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/838238.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

linux 环境下 分布式文件搭建fastDFS

1.软件信息 地址:happyfish100 (YuQing) GitHub 1.fastdfs-master.zip 2.fastdfs-nginx-module-master.zip 3.libfastcommon-master.zip 4.libserverframe-master.zip yum install make cmake gcc gcc-c perl 2.安装libfastcommon unzip libfastcommon-mast…

MQTT_客户端安装_1.4

下载地址 MQTTX 下载 下一步直接安装即可 界面介绍

人工智能项目,如何解决大模型的数据私有化

这个问题是最近走访百家企业,客户问的最多的问题。人工智能是对数据集中后,再利用的智能化手段,ChatGPT还在持续的投入,汇集数据、训练模型,微软也不过是做了一个办公客户端的智能工具,那么行业应运之时&am…

基于CentOS-7搭建hadoop3.3.6大数据集群(保姆级教程)

目录 安装虚拟机 为hadoop用户添加权限 关闭防火墙 修改主机名以及ip地址映射 配置ip 连接xshell ,以hadoop用户登录 创建目录并将该文件夹权限赋予hadoop用户 安装配置jdk 关闭虚拟机,克隆其他两个节点 修改主机名和ip地址 配置免密登录 安装…

API低代码平台介绍3-异构数据源的数据查询功能

异构数据源的数据查询功能 在上一篇文章中我们通过API平台定义了一个最基本的数据查询接口,本篇文章我们将上升难度,在原有接口的基础上,实现在MySQL数据库和Oracle数据库同时进行数据查询。   什么场景会需要同时对异构数据源进行查询&…

基于FPGA的NC图像质量评估verilog实现,包含testbench和MATLAB辅助验证程序

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 vivado2019.2和matlab2022a测试,结果如下: 2.算法运行软件版本 vivado2019.2 matlab2022a 3.部分核心程序 timescale …

【C语言习题】6.逆序输出

文章目录 1.描述输入描述:输出描述:示例图: 2.解题思路3.具体代码4.代码讲解 1.描述 输入10个整数,要求按输入时的逆序把这10个数打印出来。逆序输出,就是按照输入相反的顺序打印这10个数。 输入描述: 一…

SDL系列(三)—— SDL2.0 扩展库:SDL_image与SDL_mixer

SDL_image SDL 默认支持的,只能打开 BMP 格式的图片 。 然而我们常见的是 Png jpg 格式的图片,于是我们这节完成 SDL 借用 自带的三方库 ,来 完成加载渲染 png 等其他图片格式。 SDL_image 简介 使用 SDL_image ,您…

[笔试训练](二十三)067:打怪068:字符串分类069:城市群数量

目录 067:打怪 068:字符串分类 069:城市群数量 067:打怪 题目链接:打怪 (nowcoder.com) 题目: 题解: 直接计算结果: 1.一只怪物能抗几次攻击 int m(H/a)(H%a0?0:1); 2.杀死一只怪物,玩家要抗几次攻击 int nm-1; *3.杀死一只…

jmeter指南:JMeter 安装、配置和性能测试

使用 JMeter 进行性能测试 1. Java 版本要求 JMeter 要求与 Java 8 或更高版本兼容。为了确保安全性和性能,建议安装最新次要版本的主要 Java 版本。鉴于 JMeter 仅使用标准 Java API,如果由于 JRE 实现问题而无法运行 JMeter,请不要提交错…

VMware Workstation 安装CentOS Linux操作系统

1.我们已经下载好VMware 创建新的虚拟机 2.选择典型 3.安装程序光盘映像文件 4.配置用户名密码 5.命名虚拟机,并确定位置 6.如图所示设置 7.等待(时间会有点久) 8.输入密码登入账号

工单系统有哪些?

市面上的工单系统真的非常多,一个个列举肯定说不完,我大致给它们按照不同的依据,进行了一下分类: 1、按部署方式分类: 本地化部署工单系统:适用于对数据安全性要求较高的企业,需要企业在本地服…

uniapp小程序控制页面元素滚动指定距离

要实现页面元素滚动,最好还是使用 scroll-view 来实现,官方文档地址:scroll-view | uni-app官网 通过设置scroll事件来实现滚动监听,当滚动的元素的时候,就会触发这个事件,并且事件里面包含有滚动距离&…

PCIE协议-2-事务层规范-Virtual Channel (VC) Mechanism

2.5 虚拟通道(VC)机制 虚拟通道(VC)机制提供了对可以在整个结构中传输使用TC(流量类别)标签区分的流量的支持。VC的基础是独立的结构资源(队列/缓冲区及其相关的控制逻辑)。这些资源…

【Android踩坑】重写onClick方法时,显示Method does not override method from its supperclass

问题 重写onClick方法时,显示Method does not override method from its supperclass 解决 在类上加implements View.OnClickListener

用于WB的抗体一定能用来做IHC吗?

首先,我们来了解下抗原表位。由于蛋白可以折叠成三维结构。 所以抗原表位可以分成两种类型: 线性表位 一般指的是由序列上相连接的一些氨基酸残基通过共价键形成的结构,也称为顺序表位,是蛋白质的一级结构,比较稳定&…

【重生之我在学Android】WorkManager (章一)

相关文章 【重生之我在学Android原生】ContentProvider(Java) 【重生之我在学Android原生】Media3 【重生之我在学Android】WorkManager (章一) 前言 官方文档 官方推荐 - 前台服务、后台服务都可以使用WorkManger来实现 案例 语言:JA…

Vue3详细讲解

Vue 3 介绍 文章目录 Vue 3 介绍为什么要学习 vue 3Vue3 动机 和 新特性 Vite 的使用vite介绍为什么选 Vite ?Vite 的基本使用Vue3.0项目介绍vscode插件说明 组合式APIcomposition API vs options API体验 composition APIsetup 函数reactive 函数ref 函数script se…

webpack优化构建体积示例-并行压缩:

uglifyjs-webpack-plugin和terser-webpack-plugin都可以开启多进程并进行压缩来减小构件体积大小。 当在 Webpack 配置中启用 minimize: true 时,构建时间通常会增加,这是因为 Webpack 会在构建过程中添加一个额外的步骤:代码压缩。代码压缩是…

Mysql数据库二进制日志导致磁盘满了处理过程

数据库的二进制日志是数据库管理系统(DBMS)用来记录所有对数据库进行修改的操作的记录。这种日志对于数据库的备份、恢复、复制和审计等操作至关重要。 以MySQL数据库为例,二进制日志(Binary Log)记录了所有更改数据的…