大模型本地化部署2-Docker部署MaxKB
- 0、MaxKB简介
- 1、安装docker
- 2、在docker中拉取MaxKB镜像
- 3、运行镜像
- 4、访问MaxKB
- 5、创建应用
- 6、使用应用进行对话
0、MaxKB简介
MaxKB是一款基于LLM大预言模型的知识库问答系统。具有以下特点:
- 多模型支持:支持对接主流的大模型,包括本地私有大模型(如Llama 2)、Azure OpenAI、百度千帆、阿里通义千问大模型等;
- 开箱即用:支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化、智能问答交互体验好;
- 无缝嵌入:支持零编码快速嵌入到第三方业务系统。
1、安装docker
docker的安装不在此讲解,假设您已经安装好了docker环境。我本地电脑是Windows11,采用的WLS的方式,就是在应用商店中安装了Ubuntu20.4,在Ubuntu20.4中安装的docker环境,使用时先启动docker服务,如下图:
2、在docker中拉取MaxKB镜像
首先通过以下命令搜索都有那些maxkb镜像:
docker search maxkb
执行如下下图:
然后通过以下命令拉取maxkb镜像
docker pull 1panel/maxkb
如果提示网络未响应,可以改为以下命令尝试最新镜像
docker pull cr2.fit2cloud.com/1panel/maxkb
执行如下图:
3、运行镜像
拉取镜像完毕后,运行一个容器实例,如下:
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb
执行结果如下图:
4、访问MaxKB
启动maxkb容器实例后,就可以在本机打开浏览器,在地址栏输入以下地址进行访问:
http://localhost:8080
运行效果如下图:
默认登录信息
用户名:admin
默认密码:MaxKB@123…
进入系统后会提示修改默认密码,如下图所示:
然后输入自己的新密码保存。
5、创建应用
点击下图中的创建应用
根据提示填写相关信息
其中AI模型选择,添加模型,在弹出选择供应商界面中选择Ollama,如下图:
在添加Ollama模型时填写相应信息,如下图所示:
其中“基础模型”,如果下拉列表中没有你要用的模型,可以直接输入,只要名字对就行,如果ollama还没有安装这个模型,就会自动下载。
其中“API域名”,要填写ollama服务器的IP地址:11434
注意需要关闭windows下的专用网络防火墙,就是能在wsl2中能ping通ollama服务器的ip地址,或者能telnet登录上ollama服务器IP地址 11434。否则会提示API域名无效。
填写应用信息完毕后如下图:
然后点击“创建”按钮,就可以在应用列表中看到这个应用,如下图:
6、使用应用进行对话
点击应用下面的演示按钮,就可以打开对话界面了,如下图:
点击演示后,出现新页面,如下图:
这样就可以进行知识问答了,如下图:
在问答的过程中,可以看到GPU的使用情况。