0. 前言
本文主要介绍 win 本地安装 Ollama ,本地部署 Ollama 的 deepseek-r1:7b 大模型,使用具有界面画操作的工具 Cherrystudio进行操作。文章内容仅供参考。
1. Ollama简介
Ollama 是一个开源的框架,旨在本地运行大型语言模型(LLM)。它提供了一个简洁且用户友好的命令行界面,使得用户可以轻松部署和管理各种开源的大型语言模型。
2. Ollama的下载
进入Ollama官网主页:Ollama
,ollama官网提供 支持macOS, Linux 和 Windows 系统的ollama,自己可根据情况选择支持自己系统的ollama。本文以 win 系统为案例。点击下载按钮,获取 OllamaSetup.exe
安装程序。
3. Ollam的安装
双击安装文件,点击「Install」开始安装。目前的Ollama会默认安装到C盘,路径如下:C:\Users%username%\AppData\Local\Programs\Ollama,并不会让用户自定义选择安装路径。
4. 配置环境变量
安装完成后,可以不用先启动Ollama,点击退出的按钮「Quit Ollama」,先退出做一些必要路径的配置,否则下边的环境配置无法生效!
打开「系统环境变量」,新建一个系统变量OLLAMA_MODELS ,然后设置ollama模型的存储路径,后面ollama下载的模型会自动存储在此目录,减少C盘磁盘空间的占用。
变量名:OLLAMA_MODELS
变量值(路径):E:\Ollama\models
5. 自选项(可自选)
下面内容是可选的,根据自己情况选择。(本人默认不选)
5.1 关闭开机自启动(可选)
Ollama 默认会随 Windows 自动启动,可以在「文件资源管理器」的地址栏中访问以下路径,删除其中的Ollama.lnk快捷方式文件,阻止它自动启动。
文件目录输入:%APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup
删除开启自启的快捷方式
5.2. 配置端口(可选):
Ollama API 的默认访问地址和侦听端口是http://localhost:11434,只能在装有 Ollama 的系统中直接调用。
如果要在网络中提供服务,请修改 API 的侦听地址和端口(在系统环境变量里设):
变量名:OLLAMA_HOST
变量值(端口)::8000
只填写端口号,可以同时侦听(所有) IPv4 和 IPv6 的:8000 端口。(注意:变量值的端口前号前有个冒号 : )
注:要使用 IPv6,需要 Ollama 0.0.20 或更高版本。另外,可能需要在 Windows 防火墙中开放相应端口的远程访问。
5.3. 允许浏览器跨域请求(可选):
Ollama 默认只允许来自127.0.0.1和0.0.0.0的跨域请求,如果你计划在其它前端面板中调用 Ollama API,比如Open WebUI,建议放开跨域限制:
变量名:OLLAMA_ORIGINS
变量值:*
6. Ollama官网查找模型
在Ollama官网查找需要的模型,本文以 deepseek-r1的7b模型 为例(根据自己的电脑情况选择大小,如果是如果显存GPU<8G 或 无 GPU显卡,则可以下载1.5b)
7. 下载并运行模型
在「开始」菜单中找到并重新启动 Ollama。找到ollama.exe的所在位置,在该位置打开cmd
C:\Users\用户名\AppData\Local\Programs\Ollama
在cmd窗口中输入 ollama官网中找到的模型命令,本文以ollama run deepseek-r1:7b 为例。如果模型不存在,则会进行自动下载,下载后会自动运行模型。如果模型存在,则直接进行运行。启动后会显示如下形式:(>>> Send a message (/? for help))
8. 模型对话
>>> Send a message (/? for help) 此时就可以进行对话了。
9. 下载词向量库
在ollama官网查找 nomic-embed-text 词向量库,使用 ollama 的方式进行下载,方便后面使用RAG知识库 和 使用 Cherrystudio 应用。
10. Cherry Studio搭建本地知识库及本模型调用
向大家推荐一款名为Cherry Studio的创新型桌面工具,它巧妙地将多种主流的大语言模型服务集成于一身。这款工具的独特之处在于,它不仅提供了一个直观易用的可视化操作界面,还支持通过远程API接口实现跨平台的模型调用。这样一来,用户在享受高效便捷服务的同时,无需担忧本地硬件资源的限制,极大地优化了工作流程和效率。Cherry Studio为构建和管理高效的知识库开辟了一条新路径,无论是对于技术新手还是专业开发者来说,都是一个不可多得的好帮手。
10.1 Cherry Studio 下载
Cherry官网地址:Cherry Studio - 全能的AI助手
选择适配自己操作系统的版本进行下载。
10.2 Cherry Studio 安装
默认安装就可以,安装完成界面如下:
10.3 模型的服务选择
本文以 ollama 框架服务为例。
10.4 模型的选择
10.5 默认模型选择
默认模型选择自己下载到本地的模型,本文以 deepseek-r1:7b为例。
10.6 检测模型是否可用
点击检查,选择自己需要的模型,本文以为下载到本地的deepseek-r1:7b为例。
10.7 进入聊天模型进行提问