FastGPT：给 GPT 插上知识库的翅膀！0基础搭建本地私有知识库，有手就行

写在前面

上一篇，我们部署了接口管理和分发神器-OneAPI，将所有大模型一键封装成OpenAI协议。见：[OneAPI)。

基于此，本篇继续带领大家搭建一个基于本地知识库检索的问答系统。

有同学说 Coze 不也可以实现同样功能么？

是的，不过在 Coze 上，你需要把知识库文件文件上传到 Coze 的服务器。如果对数据安全有要求，那么搭建本地私有的知识库就更有必要了。

而且，就目前的体验而言，相比下面介绍的 FastGPT，Coze 的知识库检索略逊色一些。

FastGPT，给 GPT 插上本地私有知识库的翅膀，让它可以利用你的领域知识回答问题。

有同学问：和 dify 有什么区别？

相比 dify，FastGPT 在知识库召回上更优，而 dify 产品功能更为丰富，适合 demo 搭建。

传送门：https://github.com/labring/FastGPT

1. FastGPT 部署

前几天，我们分别搞了一台本地 Linux 虚拟机和一台云服务器：

  • Windows上安装Linux子系统，搞台虚拟机玩玩
  • 玩转云服务：手把手带你薅一台腾讯云服务器，公网 IP。

接下来，就把 OneAPI 部署在这台云服务器上，如果你用本地 Linux 虚拟机也是没问题的。

因为本项目还依赖其他服务，所以我们采用 docker-compose 的方式来进行部署，简单几步就能搞定，大大降低小白的部署门槛。

不了解 docker 的小伙伴可以看这里：【保姆级教程】Linux系统如何玩转Docker

1.1 下载配置文件

打开一个终端：

mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

从 docker-compose.yml 中可以看出：FastGPT 用到的大模型需要兼容 OpenAPI 格式。

没关系，因为上一篇我们已经完成了 OneAPI + MySQL 的部署，只需要把 OneAPI 的 base_url 和 API Key 填入 yml 文件如下位置：

fastgpt:container_name: fastgptenvironment:- OPENAI_BASE_URL=http://101.33.210.166:3001/v1- CHAT_API_KEY=sk-xxx

如果没有部署OneAPI，也没关系，这个 docker-compose.yml 文件包含了 OneAPI 的部署，可以先进入下面的1.3 服务启动。

等 OneAPI 启动后，参考：oneapi，在 OneAPI 中手动复制令牌，填到上面 CHAT_API_KEY 的位置。

填写完成后，记得重启 FastGPT 容器：docker restart fastapi。

1.2 模型配置

知识库的构建，需要使用向量模型将一段文本转换成向量。在 OneAPI 中我们加入的 GLM 渠道，是支持向量模型的。

为此，需要在 config.json 中将用到的对话模型和向量模型加入进来：

  • 对话模型：采用 “glm-4”
"llmModels": [{"model": "glm-4","name": "glm","maxContext": 16000,"avatar": "/imgs/model/openai.svg","maxResponse": 4000,"quoteMaxToken": 13000,"maxTemperature": 1.2,"charsPointsPrice": 0,"censor": false,"vision": false,"datasetProcess": true,"usedInClassify": true,"usedInExtractFields": true,"usedInToolCall": true,"usedInQueryExtension": true,"toolChoice": true,"functionCall": true,"customCQPrompt": "","customExtractPrompt": "","defaultSystemChatPrompt": "","defaultConfig": {}},]
  • 向量模型：采用 “embedding-2”
"vectorModels": [{"model": "embedding-2", // 模型名（与OneAPI对应）"name": "Embedding-1", // 模型展示名"avatar": "/imgs/model/openai.svg", // logo"charsPointsPrice": 0, // n积分/1k token"defaultToken": 700, // 默认文本分割时候的 token"maxToken": 3000, // 最大 token"weight": 100, // 优先训练权重"defaultConfig": {}, // 自定义额外参数。例如，如果希望使用 embedding3-large 的话，可以传入 dimensions:1024，来返回1024维度的向量。（目前必须小于1536维度）"dbConfig": {}, // 存储时的额外参数（非对称向量模型时候需要用到）"queryConfig": {} // 参训时的额外参数}]

1.3 服务启动

如果服务器是国内的 IP，建议将 docker-compose.yml 文件中的镜像都改为阿里云的镜像。

配置好 docker-compose.yml 文件后，采取如下命令一键启动：

sudo docker-compose up -d

看到下图，说明正在拉取镜像：

打开宝塔面板，可以看到服务已经在运行中：

1.4 启动失败解决

如果某个容器启动失败，可以采用如下命令重启：

docker restart oneapi
docker restart fastapi

如果还是不行，把 docker 重启试试：

sudo systemctl restart docker

可能有的小伙伴之前在服务器上安装过 MySQL，3306端口被占用，导致这里的 MySQL 容器启动失败。因此，可以终止已安装的 mysql 服务，再重新执行 sudo docker-compose up -d。

# 下面命令关闭服务是不行的，会自动重启。所以，进程依然存在，端口依然占用
systemctl status mysqld
systemctl stop mysqld
# 应采用如下命令：查看进程并关闭
pidof mysqld
kill pid

2. FastGPT 应用

2.1 登录 FastGPT

在 docker-compose.yml 配置文件中找到 FastGPT 的端口号：3000。

浏览器中打开：http://IP:Port，例如：http://101.33.210.xxx:3000/。

如果上述地址打不开，需要到服务器中把 3000/3001/3306 端口的防火墙打开。如果你用的是腾讯云服务器，具体操作见：玩转云服务：手把手带你薅一台腾讯云服务器。

防火墙打开后，上述地址就可以访问了，初始账号名 root，密码 1234：

2.2 新建知识库

我们需要先把知识库准备好，便于后续调用。

左侧菜单栏选择知识库，右上角新建：

进来后，点击下面的配置，将索引模型改为 Embedding-1，因为这个才是我们在1.2 模型配置部分加入的向量模型，而 Embedding-2 对应的是默认 GPT 的 "text-embedding-ada-002"模型。配置修改完成，记得保存。

然后上传文件，这里为了跑通测试流程，我选择了文本格式，并简单填写了一些内容：

等待处理，最后文本状态是“已就绪”就是 OK 了。

最后，我们来测试一下，看能否检索到对应内容：

Ok，知识库搭建完毕！

2.3 新建应用

登录 FastGPT 后，先新建一个简易应用：

进入应用后，AI 模型：需要选择刚才放到 config.json 中的 glm 模型。

然后，把刚刚建立的知识库，关联进来。

配置完成后，我们在右侧调试一下。比如我问他 “猴哥是谁”，他会先从知识库中检索到相关信息再回答我：

如果调试没问题了，再点击右上角 发布。成功后，你就拥有一个本地私有知识库增强的 LLM 了。

2.4. API 调用

为了在应用中能够调用刚发布的机器人，我们还需要一个兼容 OpenAI 格式的 API。

别急，FastGPT 也帮你搞定了！

如下图，在刚才发布的应用中间，点击 发布渠道-> API 访问，右侧点击新建，将密钥保存下来，这就是 api_key。

base_url 在哪？红色方框处自取👇

有了 api_key 和 base_url，API 调用就很容易了，关注我的老朋友可能已经非常熟悉以下测试代码（记得 base_url 后面加上/v1）：

from openai import OpenAImodel_dict = {'fastgpt': {'api_key': 'fastgpt-xxx','base_url': 'http://101.33.210.xxx:3000/api/v1','model_name': 'glm-4'}
}class LLM_API:def __init__(self, api_key, base_url, model):self.client =  OpenAI(api_key=api_key,base_url=base_url,)self.model = modeldef __call__(self, messages, temperature=0.7):completion = self.client.chat.completions.create(model=self.model,messages=messages,temperature=temperature,)return completion.choices[-1].message.contentif __name__ == '__main__':model = 'fastgpt'llm = LLM_API(model_dict[model]['api_key'], model_dict[model]['base_url'], model_dict[model]['model_name'])user_question = "猴哥是谁"messages = [{"role": "user", "content": user_question},]print(llm(messages))

还记得么？上一篇中，我们采用 chatgpt-on-wechat 搭建了一个微信机器人。

如果把上述 api_key 和 base_url 放到 chatgpt-on-wechat 的配置文件 config.json 中，不就相当于让我们的微信机器人也拥有了基于私有知识库回答问题的能力？

感兴趣的小伙伴赶紧试试吧~

写在最后

如果说，OneAPI 帮你一键封装好所有 LLM 的调用接口，实现 LLM 自由~

那么，FastGPT 则为你的 LLM 插上了知识库的翅膀，实现私有知识库自由~

祝大家借助 OneAPI+FastAPI 玩转大模型，开发出更多 AI 创意应用。

如果本文对你有帮助，欢迎点赞收藏备用！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/44690.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

51单片机：电脑通过串口控制LED亮灭(附溢出率和波特率详解)

51单片机：电脑通过串口控制LED亮灭(附溢出率和波特率详解)

一、功能实现 1.电脑通过串口发送数据：0F 2.点亮4个LED 二、注意事项 1.发送和接受数据的文本模式 2.串口要对应 3.注意串口的波特率要和程序中的波特率保持一致 4.有无校验位和停止位 三、如何使用串口波特率计算器 1.以本程序为例 2.生成代码如下 void Uar…
阅读更多...
[论文笔记]涨点近5%! 以内容中心的检索增强生成可扩展的级联框架:Pistis-RAG

[论文笔记]涨点近5%! 以内容中心的检索增强生成可扩展的级联框架:Pistis-RAG

引言 今天带来一篇较新RAG的论文笔记：Pistis-RAG: A Scalable Cascading Framework Towards Content-Centric Retrieval-Augmented Generation。 在希腊神话中，Pistis象征着诚信、信任和可靠性。受到这些原则的启发，Pistis-RAG是一个可扩展…
阅读更多...
windows远程桌面到 Linux系统（Ubuntu:22.04）—— 安装xrdp软件

windows远程桌面到 Linux系统（Ubuntu:22.04）—— 安装xrdp软件

1、在Linux系统上安装xrdp软件 sudo apt update sudo apt install xrdp2、安装完成后，需要开启xrdp服务 sudo systemctl start xrdp sudo systemctl enable xrdp打印返回 Synchronizing state of xrdp.service with SysV service script with /lib/systemd/system…
阅读更多...
一键叫车|开发打车小程序，随时随地便利出行！

一键叫车|开发打车小程序，随时随地便利出行！

随着移动互联网的普及，人们出行的方式也在不断发生变化。对于出行多样化和便捷化的需求，一款打车小程序可以方便人们的出行，提高出行效率和便捷性。打车小程序能够根据用户的出行需求为其打造个性化的出行方案，从而让用户的出行生…
阅读更多...
【DevOps】在云原生时代的角色与重要性探索

【DevOps】在云原生时代的角色与重要性探索

🐇明明跟你说过：个人主页 🏅个人专栏：《未来已来：云原生之旅》🏅 🔖行路有良友，便是天堂🔖 目录 一、引言 1、什么是云原生 2、云原生的核心特性 3、什么是DevOps…
阅读更多...
网络建设与运维python脚本应用

网络建设与运维python脚本应用

python 脚本 （1）在linux4 上编写/root/createfile.py 的 python3 脚 本，创建20 个 文 件 /root/python/file00 至 /root/python/file19，如果文件存在，则删除再创建；每个文 件的内容同文件名，如…
阅读更多...
【高中数学/指数、对数】已知9^m=10,a=10^m-11,b=8^m-9,则ab两数和0的大小关系是？（2022年全国统考高考真题）

【高中数学/指数、对数】已知9^m=10,a=10^m-11,b=8^m-9,则ab两数和0的大小关系是？（2022年全国统考高考真题）

【问题】 已知9^m10,a10^m-11,b8^m-9,则（） A.a>0>b B.a>b>0 C.b>a>0 D.b>0>a 【解答】 首先注意到10^log10_11-110,8^log8_9-90， 问题就转化为log8_9,log9_10,log10_11谁大谁小的问题， 再进一步…
阅读更多...
Spring Data MongoDB 自定义转换器：写入和读取 LocalDateTime

Spring Data MongoDB 自定义转换器：写入和读取 LocalDateTime

Spring Data MongoDB 自定义转换器：写入和读取 LocalDateTime 引言 在使用 Spring Data MongoDB 时，有时需要将特定类型（如 LocalDateTime）与 MongoDB 文档中的特定格式（如时间戳）之间进行自定义转换。本…
阅读更多...
C++ //练习 14.50 在初始化ex1和ex2的过程中，可能用到哪些类类型的转换序列呢？说明初始化是否正确并解释原因。

C++ //练习 14.50 在初始化ex1和ex2的过程中，可能用到哪些类类型的转换序列呢？说明初始化是否正确并解释原因。

C Primer（第5版） 练习 14.50 练习 14.50 在初始化ex1和ex2的过程中，可能用到哪些类类型的转换序列呢？说明初始化是否正确并解释原因。 struct LongDouble{LongDouble(double 0.0);operator double();operator float(); }; Long…
阅读更多...
在 C# .NET 中，首选静态 HashData 方法而不是 ComputeHash

在 C# .NET 中，首选静态 HashData 方法而不是 ComputeHash

在 .NET 中，哈希处理是一项常见任务，无论是用于数据完整性检查、密码哈希处理还是其他加密目的。传统上，开发人员使用各种哈希算法（例如 SHA256、MD5）提供的 ComputeHash 方法。但是，随着静态 HashData 方法…
阅读更多...
Python面试题：如何在 Python 中解析 XML 文件？

Python面试题：如何在 Python 中解析 XML 文件？

在 Python 中解析 XML 文件可以使用内置的 xml.etree.ElementTree 模块。以下是一个示例，展示了如何使用这个模块解析 XML 文件： 读取 XML 文件： import xml.etree.ElementTree as ET# 读取 XML 文件 tree ET.parse(example.xml) root tr…
阅读更多...
springboot+vue项目实战2024第四集修改文章信息

springboot+vue项目实战2024第四集修改文章信息

1.添加文章信息 PostMappingpublic Result add(RequestBody Validated Article article){articleService.add(article);return Result.success();}void add(Article article); Override public void add(Article article) {article.setCreateTime(LocalDateTime.now());article…
阅读更多...
openssl等库降级到系统原生安装镜像版本

openssl等库降级到系统原生安装镜像版本

在安装开发库时，看到curl glib2 libcurl openssl库被更新了，这不是我想要的。如下所示： Verifying : curl-8.4.0-5.oe2403.x86_64 29/38 Verifying : curl-8.4.0-3.oe2403.x86_64 …
阅读更多...
如何将Docker镜像源更改为阿里云的镜像加速地址

如何将Docker镜像源更改为阿里云的镜像加速地址

在使用Docker时，尤其是在国内环境下，由于网络原因，从Docker Hub拉取镜像可能会遇到速度较慢的问题。为了提高拉取速度，我们可以将Docker的镜像源更改为阿里云等国内镜像源。下面详细介绍如何获取并配置阿里云的Docker镜像加速地址…
阅读更多...
MES系统在装备制造行业核心应用场景介绍

MES系统在装备制造行业核心应用场景介绍

MES软件在企业中有着广泛的应用场景，主要包括生产计划排程、生产过程监控、质量管理、设备管理、库存管理、数据分析等领域。 通过实时监控生产过程、收集数据、进行分析，MES软件可以帮助企业实现生产过程可视化、透明化，提高生产效率&#…
阅读更多...
同三维T80006EH2-4K30编码器视频使用操作说明书：高清HDMI编码器，高清SDI编码器，4K超清HDMI编码器，双路4K超高清编码器

同三维T80006EH2-4K30编码器视频使用操作说明书：高清HDMI编码器，高清SDI编码器，4K超清HDMI编码器，双路4K超高清编码器

同三维T80006EH2-4K30编码器视频使用操作说明书：高清HDMI编码器，高清SDI编码器，4K超清HDMI编码器，双路4K超高清编码器 T80006EH2-4K30编码器 同三维，十多年老品牌，我们一直专注：视频采集卡、视频…
阅读更多...
一二三应用开发平台应用开发示例（7）——文档功能实现示例

一二三应用开发平台应用开发示例（7）——文档功能实现示例

概述 在完成文件夹配置工作后，接下来配置文档管理系统最核心的管理对象“文档”。 依旧是使用平台低代码配置工作来配置，配置流程跟文件夹的配置是相同的，以下简要说明，重点是新涉及到的功能或注意点。 创建实体 配置模型属性 …
阅读更多...
HashMap第7讲——get方法源码分析

HashMap第7讲——get方法源码分析

HashMap最后一篇啦，下篇就进入ConcurrentHashMap的学习和总结了。 一、简要步骤 HashMap的get方法也比较简单，下面是它的大致步骤： 首先计算key的hash值，并通过hash值定位到在数据中的索引位置。 如果该位置为空，说…
阅读更多...
【力扣 73】矩阵置零 C++题解 空间复杂度为O(1)的解决方案（向量+循环+矩阵）

【力扣 73】矩阵置零 C++题解 空间复杂度为O(1)的解决方案（向量+循环+矩阵）

给定一个 m x n 的矩阵，如果一个元素为 0 ，则将其所在行和列的所有元素都设为 0 。请使用 原地 算法。 示例 1： 输入：matrix [[1,1,1],[1,0,1],[1,1,1]] 输出：[[1,0,1],[0,0,0],[1,0,1]] 示例 2： 输入&…
阅读更多...
每个账号设置独立的cookie

每个账号设置独立的cookie

如果需要为每个账号设置独立的Cookie，可以在Cookie中包含一个与用户账号相关的唯一标识符。这样，即使在同一台电脑上，不同的账号登录时也会设置不同的Cookie，从而区分不同的用户。以下是实现这一功能的示例代码： // 假…
阅读更多...
最新文章

Copyright @ 2022~2023