原文地址:dify大模型应用开发平台搭建 – 无敌牛
欢迎参观我的技术分享网站:无敌牛 – 技术/著作/典籍/分享等
之前分享了一个私有化部署开源大模型的方法,具体参看往期文章:私有化部署开源AI模型 – 无敌牛
今天搭建一个大模型训练平台 dify:代码地址:https://github.com/langgenius/dify
开发平台搭建后是这个样子的。
安装运行
下载dify代码:git clone https://github.com/langgenius/dify.git
dify
支持 docker-compose
方式运行,所以使用起来很方便。
确保系统已经安装了docker
的服务 docker.io
,并启动:指令:systemctl start docker.service
。如果系统源里没有 docker.io
也可以安装 podman
并启动,这两者兼容性非常好。
由于国内对 docker
源的支持很不友好,为了更大可能下载到 docker
镜像,建议多增加一些镜像源。直接在 /etc/docker/daemon.json
文件添加即可,如果没有此文件,则创建一个,内容如下:
{"registry-mirrors": ["https://docker.hpcloud.cloud","https://docker.m.daocloud.io","https://docker.unsee.tech","https://docker.1panel.live","http://mirrors.ustc.edu.cn","https://docker.chenby.cn","http://mirror.azure.cn","https://dockerpull.org","https://dockerhub.icu","https://hub.rat.dev","https://dockerpull.com","https://docker.hpcloud.cloud","https://docker.m.daocloud.io"]
}
在 dify
代码的 docker
目录下运行:docker-compose up -d
就可以运行起来了。因为要从互联网拉取 docker
镜像,所以会比较慢,需要等待一段时间。如果之前获取过镜像,就会直接启动了。
查看端口是否启动
打开浏览器直接访问 http://xx.xx.xx.xx/install
继续设置,能成功打开下面的页面就是安装成功了。
部署使用
在上图中设置一个账号和密码。然后访问登录页面:http://xx.xx.xx.xx/signin
输入刚才设置的邮箱账号和密码登录。进入工作界面
右上角可以设置按钮可以设置模型供应商、成员、数据来源、API扩展。本次以 私有化部署开源AI模型 – 无敌牛 私有化部署的模型为例添加应用。
查看使用上次使用 ollama
私有化部署了哪些模型,指令:ollama list
。
对模型做相应的配置并保存。
创建大模型应用