前言
Ollama作为一个轻量级、易上手的工具,可以帮助你在自己的电脑上快速部署和运行大型语言模型,无需依赖云端服务。通过加载各种开源模型,比如LLaMA、GPT-J等,并通过简单的命令行操作进行模型推理和测试。
此小结主要介绍使用ollama作为基础平台,并拉取对应的开源大模型后在本地搭设测试环境;
这样子就可以直接在本机运行大模型;
此部分仅介绍命令行下的本地大模型部署,后续将会介绍如何封装接口创建Web端以及移动端应用
关注ZhillerDev微信号,获取文章Markdown&PDF文件,快速构建个人知识库!!!
十分钟快速部署本地DeepSeek大模型!
文章目录
- 前言
- 基本部署
- 安装ollama
- 安装大模型
- 修改安装地址
- 测试大模型
- 总结
基本部署
安装ollama
Ollama 是一个开源工具,专门为开发者设计,用于简化大语言模型(LLM)的本地化部署和管理。它的核心目标是将复杂的模型部署过程变得简单易用,同时提供高效的推理服务。Ollama 不仅支持模型的加载和运行,还提供了模型管理、性能监控、参数配置等功能,帮助开发者在本地环境中快速搭建和优化大语言模型服务。
前往ollama官方网站下载,选择对应的平台下载安装包后安装即可
我这边图方便用的是windows,下载完成后会得到一个msi安装包,打开后直接一路下一步即可完成安装
安装大模型
此部分将带领你安装最新的DeepSeek-R1:1.5b 大模型
点击此链接前往ollama官网的模型搜索界面:点击前往
直接搜索deepseek即可,我们这里要测试的大模型是deepseek-r1,点击进去即可
为便于测试,这里直接就选择一个最小的模型。
该模型是1.5b的,选择完毕后点击复制右侧的命令
打开任意一个命令行(win+r打开运行界面,然后输入cmd后回车运行即可)
输入我们刚刚复制的命令然后运行即可下载对应的大模型了!
ollama run deepseek-r1:1.5b
修改安装地址
当然,下载的模型默认存储在C盘,这很不合理,你可以使用下面的代码把模型下载地址更改为你想要的位置;
请注意,修改完毕后务必重新启动ollama使得路径生效;
set OLLAMA_MODELS="D:\your\custom\path"
下载完毕后我们使用该代码看一下目前以及安装了那些大模型:
加上我之前为了测试下载的tinyllama包括现在下载的deepseek,一共两个大模型
ollama list
测试大模型
最后直接使用此方法在命令行运行大模型即可(千万注意模型的名字必须和我们上面列出来的名字完全一致,特别是我这边下载的是1.5b版本,如果不带上这个后缀的话,那么ollama就会因为找不到模型而重新下载一个其他的模型!!!)
之后就可以愉快的开始对话了~
总结
主要介绍如何使用ollama搭设本地大模型平台,快速使用DeepSeek-R1大模型