最近DeepSeek太火了,对配置要求不高。刚好放假,下载试试。发现开源大模型的生态做的挺好的,几分钟就能在本地部署一个大模型。
配置
NVIDIA RTX 2060 6GB(最低要求 NVIDIA GTX 1060 6GB )
下载Ollama
Ollama是一个运行大模型的工具,可以利用Ollama下载、运行大模型。(类似于Docker)
Ollama下载地址
安装Ollama
正常安装后,迁移把Ollama到其他盘。
在Windows中将Ollama安装到其他盘(例如D盘)的步骤如下
修改用户变量的PATH变量,将原来的C:\Users\XX\AppData\Local\Programs\Ollama路径更新为新的位置,即D:\Ollama。
使用ollama -v
验证是否安装成功。
设置大模型的下载地址
新建文件夹如:H:\Ollama.ollama\models,在系统变量中新建一个名为OLLAMA_MODELS的变量,设置其值为模型文件的刚刚新建的文件夹。
下载大模型
到Ollama官网,选择deepseek-r1,我这里选择了最小的1.5b
Ollama官网
本地打开cmd ,运行ollama run deepseek-r1:1.5b
。
运行
安装完后就可以直接对话了。
本地使用web-ui插件
chrome浏览器商店搜索ollama-ui
,安装后自动识别到已经安装的大模型。
网页上使用更方便一点。
参考
https://blog.csdn.net/youeyeb/article/details/144905333
https://www.bilibili.com/video/BV1oGfmYjEcH/?spm_id_from=333.337.search-card.all.click&vd_source=54773d9fdb0709d7cb671b1f78833c17