Open WebUI是一个专为大型语言模型(LLMs)设计的Web用户界面。这个界面提供了一个直观、响应迅速且易于使用的平台,使用户能够与本地运行的语言模型进行交互,就像与云服务中的模型交互一样。可以非常方便的调试、调用本地模型。你能用它连接你在本地的大语言模型(包括 Ollama 和 OpenAI 兼容的 API),也支持远程服务器。Docker 部署简单,功能非常丰富,包括代码高亮、数学公式、网页浏览、预设提示词、本地 RAG 集成、对话标记、下载模型、聊天记录、语音支持等。
前面的博文《centos上部署Ollama平台,实现语言大模型本地部署》中已经实现Ollama的部署。这里分享一下,如何在已有Ollama的基础上,快速搭建一个调试界面。这里使用的是OpenWeb UI。可以基于源码自己搭建,需要使用到node.js与python;也可以基于docker部署,缺点就是慢,特别容易超时,我自己都下载了两天。
拉取镜像
docker pull ghcr.io/open-webui/open-webui:main
如果经常超时,可以加一下下面的代理
{"registry-mirrors": ["https://docker.m.daocloud.io","https://docker.fxxk.dedyn.io","https://dockerproxy.com","https://docker.mirrors.ustc.edu.cn","https://docker.nju.edu.cn","https://mirror.baidubce.com","https://docker.mirrors.sjtug.sjtu.edu.cn","http://hub-mirror.c.163.com","https://registry.docker-cn.com","https://docker.mirrors.ustc.edu.cn"]
}
我这个过程,一直在超时,两天的时间,一直在重复执行这个命令
启动docker
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这里我的OpenWeb UI与Ollma部署在同一台机器上
如果不是同一台可以运行下面命令
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://192.168.2.172:11434/api -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
启动后,浏览器访问机器的3000端口,即可进入OpenWeb UI界面,第一次访问需要注册
注册后,即可进入人机对话
使用中文模型
Ollama的很多模型对中文并不友好,如果想要体验中文模型,可以使用qwen
模型进行测试。执行下面命令即可使用qwen
模型
docker exec -it ollama ollama run qwen