FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景!他的重要特点就是工作流编排。
工作流编排:基于 Flow 模块的工作流编排,可以帮助你设计更加复杂的问答流程。例如查询数据库、查询库存、预约实验室等。
FastGPT 遵循附加条件 Apache License 2.0 开源协议,你可以 Fork 之后进行二次开发和发布。但要注意他的开源条款外的要求。
下面我们就开始部署FastGPT,目前该项目只公布了docker私有化部署方式。
一:安装docker
# 安装 Docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
# 安装 docker-compose
curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
# 验证安装
docker -v
docker-compose -v
二:下载FastGPT的docker文件
创建 FastGPT 文件,依次执行下面命令,并拉取docker-compose.yml和config.json,执行完后目录下会有 2 个文件。
mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
三:启动容器
# 启动容器
docker-compose up -d
# 等待10s,OneAPI第一次总是要重启几次才能连上Mysql
sleep 10
# 重启一次oneapi(由于OneAPI的默认Key有点问题,不重启的话会提示找不到渠道,临时手动重启一次解决,等待作者修复)
docker restart oneapi
四:配置OneAPI
本项目OneAPI的进入地址:http://ip:3001
OneAPI配置方法请参照之前的文件:使用OneAPI创建LLM访问API Key-CSDN博客
五:访问FastGPT
访问地址:http://ip:3000
登录用户名:root
默认密码:1234
六:如何使用
我们先使用“简易模型”创建一个应用。
如何设置这些模型,到安装目录fastgpt编辑config.json
vim /fastgpt/config.json
#将llmModels下面的模型替换成你在oneapi设置的内容。
{"feConfigs": {"lafEnv": "https://laf.dev"},"systemEnv": {"openapiPrefix": "fastgpt","vectorMaxProcess": 15,"qaMaxProcess": 15,"pgHNSWEfSearch": 100},"llmModels": [{"model": "llama3:8b","name": "Ollama-8B","maxContext": 16000,"avatar": "/imgs/model/openai.svg","maxResponse": 4000,"quoteMaxToken": 13000,"maxTemperature": 1.2,"charsPointsPrice": 0,"censor": false,"vision": false,"datasetProcess": true,"usedInClassify": true,"usedInExtractFields": true,"usedInToolCall": true,"usedInQueryExtension": true,"toolChoice": true,"functionCall": true,"customCQPrompt": "","customExtractPrompt": "","defaultSystemChatPrompt": "","defaultConfig": {}},{"model": "llama3:70b","name": "Ollama-70B","avatar": "/imgs/model/openai.svg","maxContext": 125000,"maxResponse": 4000,"quoteMaxToken": 100000,"maxTemperature": 1.2,"charsPointsPrice": 0,"censor": false,"vision": false,"datasetProcess": false,"usedInClassify": true,"usedInExtractFields": true,"usedInToolCall": true,"usedInQueryExtension": true,"toolChoice": true,"functionCall": false,"customCQPrompt": "","customExtractPrompt": "","defaultSystemChatPrompt": "",
编辑后重启docker
docker-compose down
docker-compose up -d
然后你再打开界面就可以看到刚才的模型已经变上图的样子了。
有关高级编排的使用:
可以参考官方文档:高级编排介绍 | FastGPT (fastai.site)
接下来你就可以跟他对话了。