LLama3大模型本地部署 仅需6步完成对话模型本地安装部署。附送可视化ui安装、自定义模型目录,修改模型保存地址,第三方微调模型、中文模型下载地址

本篇分为三部分
一:6步完成llama3大模型本地部署
二:8步完成llama3可视化对话界面安装
三:重设模型文件路径
四:微调模型、中文模型下载资源分享

一、LLama3 大模型本地部署安装

  1. 首先去mata官网下载ollama客户端
    Ollama
    在这里插入图片描述
    选择合适的操作系统平台后点击dowload按钮等待下载完成即可。
    我使用的是windows系统,所以先点windows再点download按钮下载。

  2. 下载完成后,双击文件进行安装
    在这里插入图片描述
    安装完成后会提示你默认启动命令,不需要管这个关闭即可。

  3. 打开cmd控制台,键入ollama,如果如下图显示命令提示就说明安装已经成功
    在这里插入图片描述

  4. 进入官网找到想要下载的模型名称 https://ollama.com/library/llama3/tags。 如果你使用的是普通电脑,建议选择8b(80亿参数)
    在这里插入图片描述

  5. 控制台中键入ollama run llama3:8b,会自动进行8B模型下载,该模型有80亿参数,普通电脑可以执行。如果想要70B可以修改为入ollama run llama3:70b。按回车键就开始下载并自动安装
    在这里插入图片描述

  6. 当提示success时,说明已经成功安装了大模型。

  7. 测试

接下来就到了装逼环节,直接在控制台中进行对话吧。 因为8b是官方英文模型,所以在控制台中还不支持中文,你需要下载中文微调模型才能进行中文对话。
我们问了两个问题,第一个触及非法操作,由于安全限制回答被拒绝
第二个用拼错的单词问他怎么煮饭,8b模型 正常地识别并回答了问题。现在看来效果还可以。
在这里插入图片描述

到此我们就完成了大模型llama的安装。还挺简单是吧?

二、LLAMA3 安装可视化交互界面

控制台调用总不是个办法,还是得穿上裤子弄个拉皮,我们搞个可视化对话界面吧

  1. 首先确保系统中已经安装了nodejs和git,如果没有可以自己去官网下载安装https://nodejs.org/en
  2. 打开cmd控制台,键入node -v,如果显示vxx.xx.x.就说明安装成功了。
  3. 在cmd控制台中键入git clone https://github.com/ollama-webui/ollama-webui-lite.git 添加资源镜像
  4. 在cmd控制台键入mkdir llama在当前路径下创建一个叫llama的文件夹,然后键入cd llama进入该文件夹下
  5. 在cmd控制台键入 git clone https://github.com/ollama-webui/ollama-webui-lite.git 将web ui界面下载回来
  6. 在cmd控制台键入cd ollama-webui-lite 进入web ui项目文件夹
  7. 在cmd控制台键入 npm install,安装环境与依赖
  8. 在cmd控制台键入 npm run dev,启动web ui系统
    在这里插入图片描述
    这时会返回两个地址,local地址是本机可访问的地址,network是局域网内其他电脑可以访问的地址。我们直接复制local地址到浏览器上就能看到llama的可视化界面了
    在这里插入图片描述
    然后点击Select a model 设置模型,我们选中已经下载好的8b模型
    在这里插入图片描述
    现在就可以在下方输入框进行输入对话了
    在这里插入图片描述
    到此完成llama3本地可视化部署

三、设置模型文件位置

默认模型文件会下载到C:\Users\用户名.ollama\models,中国人的习惯就是c盘容量小e盘容量大。所以需要重新设置磁盘位置。

  1. 在e盘下创建目标文件夹
  2. 将C:\Users\用户名.ollama下的models文件夹整个移动到新创建的文件夹下
  3. 打开系统属性页面,点击环境变量按钮,弹出设置窗口
    在这里插入图片描述
    点击“心间按钮”,在“变量名”键入 OLLAMA_MOKDELS, 在"变量值"中填入刚刚移动到新位置的models路径,点击确定即可按成

在这里插入图片描述
4. 重启ollama客户端,然后在命令行中键入 ollama list,如果可以查看模型列表就说明修改成功了
在这里插入图片描述

四、第三方微调模型、中文资源下载

如果需要解除限制,或是其他微调功能,可以在https://huggingface.co下载其他人搞好的模型。
都是免费自由下载,很方便。

下周将完善自由微调llama和对接预研llama的教程

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/838238.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何使用正则表达式避免生成空字符串

在字符串处理中,我们经常需要将字符串根据特定的分隔符拆分成多个子字符串。Java 中的 split 方法可以很好地完成这项任务。但是,在使用 split 方法时,如果分隔符连续出现,可能会生成空字符串。 可以使用正则表达式避免生成空字符…

linux 环境下 分布式文件搭建fastDFS

1.软件信息 地址:happyfish100 (YuQing) GitHub 1.fastdfs-master.zip 2.fastdfs-nginx-module-master.zip 3.libfastcommon-master.zip 4.libserverframe-master.zip yum install make cmake gcc gcc-c perl 2.安装libfastcommon unzip libfastcommon-mast…

MQTT_客户端安装_1.4

下载地址 MQTTX 下载 下一步直接安装即可 界面介绍

人工智能项目,如何解决大模型的数据私有化

这个问题是最近走访百家企业,客户问的最多的问题。人工智能是对数据集中后,再利用的智能化手段,ChatGPT还在持续的投入,汇集数据、训练模型,微软也不过是做了一个办公客户端的智能工具,那么行业应运之时&am…

基于CentOS-7搭建hadoop3.3.6大数据集群(保姆级教程)

目录 安装虚拟机 为hadoop用户添加权限 关闭防火墙 修改主机名以及ip地址映射 配置ip 连接xshell ,以hadoop用户登录 创建目录并将该文件夹权限赋予hadoop用户 安装配置jdk 关闭虚拟机,克隆其他两个节点 修改主机名和ip地址 配置免密登录 安装…

如何通过专业的二手机店erp优化手机商家运营!

在数字化浪潮席卷全球的大背景下,手机行业作为科技发展的前沿阵地,正经历着前所未有的变革。对于众多手机商家而言,如何在这场变革中抢占先机,实现数字化转型,成为了摆在他们面前的一大难题。幸运的是,途渡…

工作绩效域怎么写和子题目如何回应

某智慧案管信息化系统 在2023年11月,我作为项目经理,领导了“某市XX智慧案管信息化系统”项目的建设工作。该项目以485.5万元的合同金额成功中标,预计建设周期为12个月。作为一个多维度的系统工程,它由案件受理、分配、跟踪、审理…

python如何在图片上写斜体字

在Python中,直接在图片上写斜体文字通常不是图像库(如PIL或OpenCV)的内置功能,因为这些库主要关注于图像处理而非复杂的文本渲染。然而,你可以通过几种方式在图片上创建斜体效果: 使用PIL(Pytho…

API低代码平台介绍3-异构数据源的数据查询功能

异构数据源的数据查询功能 在上一篇文章中我们通过API平台定义了一个最基本的数据查询接口,本篇文章我们将上升难度,在原有接口的基础上,实现在MySQL数据库和Oracle数据库同时进行数据查询。   什么场景会需要同时对异构数据源进行查询&…

基于FPGA的NC图像质量评估verilog实现,包含testbench和MATLAB辅助验证程序

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 vivado2019.2和matlab2022a测试,结果如下: 2.算法运行软件版本 vivado2019.2 matlab2022a 3.部分核心程序 timescale …

【C语言习题】6.逆序输出

文章目录 1.描述输入描述:输出描述:示例图: 2.解题思路3.具体代码4.代码讲解 1.描述 输入10个整数,要求按输入时的逆序把这10个数打印出来。逆序输出,就是按照输入相反的顺序打印这10个数。 输入描述: 一…

苹果与谷歌联合推出跨平台反跟踪器

近日,苹果公司发布了iOS 17.5,新版本新增了跨平台的反追踪检测功能。这一功能是与谷歌合作开发的,意味着苹果的“查找我的”和谷歌的新“查找我的设备”网络将携手合作,共同抵制不必要的追踪和骚扰行为。如果检测到非你所有的追踪…

SDL系列(三)—— SDL2.0 扩展库:SDL_image与SDL_mixer

SDL_image SDL 默认支持的,只能打开 BMP 格式的图片 。 然而我们常见的是 Png jpg 格式的图片,于是我们这节完成 SDL 借用 自带的三方库 ,来 完成加载渲染 png 等其他图片格式。 SDL_image 简介 使用 SDL_image ,您…

自动驾驶技术:现状、挑战与前景

自动驾驶技术是当今汽车行业的热门话题,它的发展前景备受关注,同时也面临着诸多挑战和限制。在这篇文章中,我将探讨自动驾驶技术的现状、挑战,并展望其未来的发展前景。 现状: 自动驾驶技术已经取得了一定的进…

MBGP MPLS VPN

一、MPLS的不足与发展 1、在90年代初期,各个厂商的硬件设备性能不足时,MPLS能够很好的替代掉传统路由基于IP路由表多次查表转发数据的问题,但随着硬件性能的不断攀升,MPLS在转发性能上的优势几乎丧失掉; 2、但MPLS由…

[笔试训练](二十三)067:打怪068:字符串分类069:城市群数量

目录 067:打怪 068:字符串分类 069:城市群数量 067:打怪 题目链接:打怪 (nowcoder.com) 题目: 题解: 直接计算结果: 1.一只怪物能抗几次攻击 int m(H/a)(H%a0?0:1); 2.杀死一只怪物,玩家要抗几次攻击 int nm-1; *3.杀死一只…

Lc33---- 414. 第三大的数(java版)---排序(去重/复制到新数组)

1.题目描述 给你一个非空数组,返回此数组中 第三大的数 。如果不存在,则返回数组中最大的数。 示例 1: 输入:[3, 2, 1] 输出:1 解释:第三大的数是 1 。 示例 2: 输入:[1, 2] 输出…

jmeter指南:JMeter 安装、配置和性能测试

使用 JMeter 进行性能测试 1. Java 版本要求 JMeter 要求与 Java 8 或更高版本兼容。为了确保安全性和性能,建议安装最新次要版本的主要 Java 版本。鉴于 JMeter 仅使用标准 Java API,如果由于 JRE 实现问题而无法运行 JMeter,请不要提交错…

【Python】记录第一次接 python 项目搭建环境的问题

python安装指定版本的包 pip install packageversion查看包版本 pip show <package_name>运行main函数报 coreapi 错误 AssertionError: coreapi must be installed for schema support. 错误解 pip install coreapi 修改 pip install 目录 有可能会没有&#xff0c…

VMware Workstation 安装CentOS Linux操作系统

1.我们已经下载好VMware 创建新的虚拟机 2.选择典型 3.安装程序光盘映像文件 4.配置用户名密码 5.命名虚拟机&#xff0c;并确定位置 6.如图所示设置 7.等待&#xff08;时间会有点久&#xff09; 8.输入密码登入账号