一、安装ollama
访问https://ollama.com/download 下载并安装对应系统的ollama。
Ollama 是一个开源工具,旨在帮助用户在本地机器上轻松运行和管理大型语言模型(LLM)。它提供了一个简单易用的命令行界面,可以下载、安装和运行各种预训练的 LLM,而无需复杂的配置和依赖项管理。
例如:CentOS下执行install.sh安装脚本
curl -fsSL https://ollama.com/install.sh | sh
安装完毕后验证ollama版本
/usr/local/bin/ollama –v
二、加载deepseek模型
访问如下链接,可以看到deepseek模型列表
deepseek-r1
选择你要加载的模型,并复制对应的命令。
例如1.5B的模型执行如下命令:
/usr/local/bin/ollama run deepseek-r1:1.5b
下载安装完毕,键入任意问题,就可以自由聊天了。
输入/?可以查看帮助。
输入/bye可以退出模型。
就像使用百度搜索你得学会搜索的技巧,和deepseek对话你就得学会提问的技巧,具体可
参考官方示例:
Prompt Library | DeepSeek API Docs
三、安装GUI图形交互界面
成功安装了大型语言模型(LLM),但直接使用 LLM 通常需要通过命令行或者 API 进行交互,对于小白或普通用户来说并不方便,推荐一些常用的软件,如:LM Studio、ChatboxAI、NextJS Ollama LLM UI、OpenUI、Xinferenc 作为图形用户界面(GUI)工具。
本文采用C/S部署方式,即LLM服务安装在CentOS中,GUI客户端安装在Windows中。
在Centos系统中修改ollama的监听服务。执行命令如下:
vi /etc/systemd/system/ollama.service
参考红色剪头输入CentOS服务器的IP并保存配置,例如:10.0.0.1
Environment="OLLAMA_HOST=10.0.0.1"
重新加载systemd配置并重启Ollama 服务:
systemctl daemon-reload
systemctl restart ollama
查看监听的IP和端口。
sudo ss -tulnp | grep 11434
四、 chatbox对接deepseek
本文使用chatbox对接Ollama+deepseek,可从如下链接下载chatbox客户端。
https://chatboxai.app/zh#download
安装并运行chatbox客户端,根据弹窗提示进行配置。
参考下图配置IP:Port,并选择模型。
五、使用deepseek愉快沟通
可以和deepseek愉快沟通了!