学习笔记:使用Ollama项目快速本地化部署Qwen 1.5模型

Ollama简介

Ollama是一个开源框架,专门设计用于在本地运行大型语言模型。它的主要特点是将模型权重、配置和数据捆绑到一个包中,从而优化了设置和配置细节,包括GPU使用情况,简化了在本地运行大型模型的过程。Ollama支持macOS和Linux操作系统,并且已经为Windows平台发布了预览版。

Ollama的一个重要优势是其易用性。安装过程简单,例如在macOS上,用户可以直接从官网下载安装包并运行。对于Windows用户,官方推荐在WSL 2中以Linux方式使用命令安装。安装完成后,用户可以使用命令行工具来下载和运行不同的模型。

Ollama还提供了对模型量化的支持,这可以显著降低显存要求。例如,4-bit量化可以将FP16精度的权重参数压缩为4位整数精度,从而大幅减小模型权重体积和推理所需显存。这使得在普通家用计算机上运行大型模型成为可能。

此外,Ollama框架还支持多种不同的硬件加速选项,包括纯CPU推理和各类底层计算架构,如Apple Silicon。这使得Ollama能够更好地利用不同类型的硬件资源,提高模型的运行效率。

Ollama部署qwen1.5模型

Ollama目前对于国产开源大模型只集成了Qwen1.5以及零一万物系列模型。

以下是我本地部署和运行Qwen1.5 7B模型的过程:

Ollama开源项目地址:

ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models. (github.com)

下载windows安装包:

双击进行安装:

傻瓜式安装:

安装完成,打开应用:

通过终端命令行,查看是否安装成功:

ollama --version

出现版本就说明安装成功:

下载模型

点击ollama的模型仓库(开源项目地址)

搜索qwen

选择需要的模型版本:

拉取模型文件:

pull后边跟需要的模型名称即可:

ollama pull qwen:7b

可以看到,下载速度很快:

下载完毕后,可以到默认的下载路径查看:(不支持修改下载路径,应该是后续加载运行模型也会从此处开始,如果大家C盘空间不够,可以进行扩容,采用工具,可以将属于同一块硬盘的其他盘空间转移给C盘,也是非常方便的,有需要可以出教程)

可以在终端中查看下载的模型:

ollama list

可以看到我们下载了qwen 7B:

运行模型

直接在终端输入命令:

ollama run qwen:7b

启动非常的快速(没截到图):

推理也是非常的快

我们看看显存占用:

7B模型,居然才占用6.5GB的显存,这种降低也太明显了。

之前直接启动模型,最低也是13GB的显存占用,推理时差不多15GB了,呜呜..

目前就部署到这里,可以通过命令行对话。

后续,如果学习了如何将Ollama集成到langchain框架,再进行记录。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/13336.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024长三角C题全保姆教程

赛道 C:汽后配件需求预测问题 根据以上信息,请你们建立数学模型完成以下问题: 问题 1 使用“历史配件订单表 ”中的数据,预测出各商家在本仓库的配件 2023 年 8 月 1 日至 2023 年 8 月 31 日的需求量,请将预测结果以表…

利用宝塔面板搭建nodejs网站(不使用pm2)

利用宝塔面板搭建nodejs网站(不使用pm2) 1. 准备代码文件2. 将代码上传至云主机3. 云主机配置3.1 绑定域名3.2 利用面板配置node环境3.3 利用面板增加node项目 4. 打开端口 暂时只演示http的。https类似,需要添加证书。 1. 准备代码文件 清单…

Ubuntu 设置环境变量永久生效和临时生效

1. 在 /etc/profile 文件中添加变量 对所有用户生效(永久的) 注:修改文件后要想马上生效,要运行 source /etc/profile。否则在下次重进此用户时生效。 2. 在用户目录下的 .bash_profile 文件中增加变量 对单一用户生效&#xf…

最新运营商归属地数据库

四大运营商手机归属地数据(404169条): 2024年5月整理,文件后缀:xlsx,可直接导入hive和mysql等数据库

Linux---在Xshell上配置软件包管理器yum

一、什么是yum 在Linux下安装软件, 一个通常的办法是下载到程序的源代码, 并进行编译, 得到可执行程序. 但是这样太麻烦了, 于是有些人把一些常用的软件提前编译好, 做成软件包(可以理解成windows上的安装程序)放在一个服务器上, 通过包管理器可以很方便的获取到这个编译好的软…

赶紧收藏!2024 年最常见 100道 Java 基础面试题(四十九)

上一篇地址:赶紧收藏!2024 年最常见 100道 Java 基础面试题(四十八)-CSDN博客 九十七、spring事务实现方式有哪些? Spring框架提供了多种事务管理的实现方式,以支持不同的事务需求和场景。以下是Spring支…

宝塔助手是以宝塔Linux面板提供的API开发的一款可以随时随地管理服务器的APP

【软件介绍】手机操控云服务器的神器软件,本人亲测在用,好用极了! 【软件名称】宝塔助手 【软件包名】com.lensyn.zsbt 【软件版本】1.4.1 【软件大小】29.00M 【适用系统】安卓 【软件特色】宝塔助手是以宝塔Linux面板提供的API开发的一款可…

设计模式分享

2. 策略模式 2.1 定义:策略模式定义了家族算法,分别封装起来(这些算法完成的都是相同的工作,只是实现不同),它可以用相同的方式调用所有的算法,减少了各种算法类与使用算法类之间的耦合。此模式…

Python实战开发及案例分析(25)—— 爬山算法

爬山算法(Hill Climbing)是一种启发式搜索算法,常用于解决优化问题。它的核心思想是从一个初始解开始,不断朝着增益最大的方向移动,直到达到局部最优解。 实现步骤 从初始解开始。在当前解的邻域中找到一个更好的解。…

LeetCode109:组合总和Ⅳ

题目描述 给你一个由 不同 整数组成的数组 nums ,和一个目标整数 target 。请你从 nums 中找出并返回总和为 target 的元素组合的个数。 题目数据保证答案符合 32 位整数范围。 解题思想 使用完全背包 代码 /*dp[i]:表示装满容量为i的背包有dp[i]种方…

高通QCS6490开发(二)AI板卡接口

QCS6490是高通公司针对高端物联网终端而优化的SoC,在性能和功耗上有最优的平衡。《高通QCS6490 AIoT应用开发》是一系列AIoT应用开发文章,介绍如何基于QCS6490平台做AIIoT的应用开发。 本文主要介绍FV01开发板的内部和外部接口。 内部的板载接口如下 接口…

C++_第十一周做题总结_继承基础

id:68 A圆和圆柱体积算(继承) 题目描述 定义一个CPoint点类,包含数据成员x,y(坐标点)。 以CPoint为基类,派生出一个圆形类CCircle,增加数据成员r(半径)和一个计算圆面积的成员函数…

天锐绿盾 | 设计院、机械制造行业透明加密cad图纸、图纸防泄密软件

天锐绿盾为设计院及机械制造行业量身打造的透明加密CAD图纸解决方案,专注于保障这些行业中的核心资产—设计图纸的安全。通过集成先进的加密技术和访问控制策略,该软件系统能有效防止图纸的未经授权访问和意外泄密。 PC地址: https://isite…

ControlNet 学习笔记

ControlNet根据一些额外的信息控制扩散生成走向 在作用原理上,ControlNet和LoRA是有许多相似之处的,定位都是对大扩散模型做微调的额外网络。 Annotator(预处理器):从图片中提取对ControlNet有用的额外信息 Diffusion:在ControlN…

富格林:落实正规技能实现出金

富格林认为,众所周知近段时间地缘局势外溢的影响下,避险情绪的快速升温导致金价的运行幅度更为惊人。实现盈利出金毋容置疑是每个投资者进行投资的最终目标,那么我们要如何实现出金呢?事实上,要想盈利出金的前提条件就…

每日一练 2024.5.16 (补 2024.5.15)

题目: 给定一个 正整数 数组 beans ,其中每个整数表示一个袋子里装的魔法豆的数目。 请你从每个袋子中 拿出 一些豆子(也可以 不拿出),使得剩下的 非空 袋子中(即 至少还有一颗 魔法豆的袋子)…

2024汽车行业用户洞察与营销趋势白皮书

来源:小红书&寰球汽车:

设备接入物联网平台必须掌握的关键信息——青创智通

工业物联网解决方案-工业IOT-青创智通 设备接入物联网平台需要掌握的信息相当丰富且复杂,这涉及到多个层面,包括技术细节、平台选择、安全性考虑以及后期管理与维护等。以下将详细阐述设备接入物联网平台所需掌握的关键信息。 首先,我们需要…

<sa8650>QCX Usecase 使用详解—环视摄像头 (SRV))

<sa8650>QCX Usecase 使用详解—环视摄像头 < SRV > 一、 前言二、 IPE 输出三、 IFE outputs四、支持的输入和输出五、SRV 用例 XML 模板六、SRV 使用指南6.1 SRV 逻辑摄像机 XML 配置6.2 SRV 的 QCarCam 配置6.2.1 测试单一 SRV 用例6.2.2测试多SRV用例6.3 SRV 摄像…

【recast-navigation-js】通过websocket获取navmesh数据并初始化

目录 说在前面目录结构websocket服务器前端结果 说在前面 操作系统&#xff1a;windows 11浏览器&#xff1a;edge版本 124.0.2478.97recast-navigation-js版本&#xff1a;0.29.0golang版本&#xff1a;1.21.5 目录结构 D:. │ go.mod │ go.sum │ main.go // websocket …