FastGPT+OneAI接入网络模型

文章目录

  • FastGPT连接OneAI接入网络模型
    • 1.准备工作
    • 2.开始部署
      • 2.1下载 docker-compose.yml
      • 2.2修改docker-compose.yml里的参数
    • 3.打开FastGPT添加模型
      • 3.1打开OneAPI
      • 3.2接入网络模型
      • 3.3重启服务

FastGPT连接OneAI接入网络模型

1.准备工作

本文档参考FastGPT的官方文档

主机ip接入模型主机名称系统
192.168.37.200文心一言fastgptcentos7

部署架构图

img

本架构是用docker-compose进行部署

安装docker
[root@fastgpt ~]# yum install -y yum-utils device-mapper-persistent-data lvm2
[root@fastgpt ~]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@fastgpt ~]# sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
[root@fastgpt ~]# yum -y install docker-ce
[root@fastgpt ~]# systemctl enable --now docker
[root@fastgpt ~]# systemctl disable --now firewalld
[root@fastgpt ~]# setenforce 0安装docker-compose
[root@fastgpt ~]# curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose% Total    % Received % Xferd  Average Speed   Time    Time     Time  CurrentDload  Upload   Total   Spent    Left  Speed0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
100 56.6M  100 56.6M    0     0   168k      0  0:05:44  0:05:44 --:--:--  225k
[root@fastgpt ~]# chmod +x /usr/local/bin/docker-compose
[root@fastgpt ~]# docker -v
Docker version 26.1.4, build 5650f9b
[root@fastgpt ~]# docker-compose -v
Docker Compose version v2.20.3

2.开始部署

2.1下载 docker-compose.yml

[root@fastgpt ~]# mkdir fastgpt
[root@fastgpt ~]# cd fastgpt/
[root@fastgpt fastgpt]# curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json% Total    % Received % Xferd  Average Speed   Time    Time     Time  CurrentDload  Upload   Total   Spent    Left  Speed
100  5109  100  5109    0     0    236      0  0:00:21  0:00:21 --:--:--  1122
[root@fastgpt fastgpt]# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml% Total    % Received % Xferd  Average Speed   Time    Time     Time  CurrentDload  Upload   Total   Spent    Left  Speed
100  5577  100  5577    0     0   9613      0 --:--:-- --:--:-- --:--:--  9598
[root@fastgpt fastgpt]# ls
config.json  docker-compose.yml

2.2修改docker-compose.yml里的参数

有些容器的镜像可能很难拉下来,这时可以配一个加速器或者把docker-compose.yml里的镜像源换成国内的阿里源

[root@fastgpt fastgpt]# docker-compose up -d
[root@fastgpt fastgpt]# sleep 10
[root@fastgpt fastgpt]# docker restart oneapi    #重启一次oneapi(由于OneAPI的默认Key有点问题,不重启的话会提示找不到渠道,临时手动重启一次解决,等待作者修复)

3.打开FastGPT添加模型

可以通过ip:3000访问FastGPT,默认账号为root密码为1234

安装成功之后

在这里插入图片描述

访问时注意关防火墙

我们访问上去是不能用的,需要让oneapi当作一个跳板来连接外部模型

3.1打开OneAPI

通过ip:3001访问OneAPI,默认账户为root密码是123456

在这里插入图片描述

3.2接入网络模型

以文心一言为例

创建一个渠道

在这里插入图片描述

注意在填写密钥的时候一定要是apikey|SecretKey的格式,我因为只填写的apikey导致一直测试不了花了我1个小时时间排错

测试一下

在这里插入图片描述

创建一个令牌

在这里插入图片描述

创建好令牌之后就可以获取OneAPI的APIkey了

在这里插入图片描述

获取到key之后回到docker-compose.yml中来

- OPENAI_BASE_URL=http://192.168.37.200:3001/v1   #这里填写OneAPI的访问地址,并在后面加上/v1
- CHAT_API_KEY=sk-jp8hCd3nJL0Z0fdg2b5d9aB3B1Bd4f8686Ae9fF62eA06eB1  #这里填写我们刚刚获取的APIkey

然后再修改config.json文件

"llmModels": [...{"model": "ERNIE-4.0-8K", // 这里的模型需要对应 One API 的模型"name": "文心一言", // 对外展示的名称"avatar": "/imgs/model/ernie.svg", // 模型的logo"maxContext": 16000, // 最大上下文"maxResponse": 4000, // 最大回复"quoteMaxToken": 13000, // 最大引用内容"maxTemperature": 1.2, // 最大温度"charsPointsPrice": 0,"censor": false,"vision": false, // 是否支持图片输入"datasetProcess": false, // 是否设置为知识库处理模型"usedInClassify": true, // 是否用于问题分类"usedInExtractFields": true, // 是否用于字段提取"usedInToolCall": true, // 是否用于工具调用"usedInQueryExtension": true, // 是否用于问题优化"toolChoice": true, // 是否支持工具选择"functionCall": false, // 是否支持函数调用"customCQPrompt": "", // 自定义文本分类提示词(不支持工具和函数调用的模型"customExtractPrompt": "", // 自定义内容提取提示词"defaultSystemChatPrompt": "", // 对话默认携带的系统提示词"defaultConfig":{}  // 请求API时,挟带一些默认配置(比如 GLM4 的 top_p)}...
],

添加模型向量

"vectorModels": [......{"model": "text-embedding-ada-002","name": "Embedding-2","avatar": "/imgs/model/openai.svg","charsPointsPrice": 0,"defaultToken": 700,"maxToken": 3000,"weight": 100},......
]

3.3重启服务

[root@fastgpt fastgpt]# docker-compose down && docker-compose up -d

在这里插入图片描述

这里就可以选择文心一言进行对话了

我们尝试进行一次对话

在这里插入图片描述
这样我们就接入好了网络模型

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/44304.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JVM是如何管理内存的?图文详解GC垃圾回收算法

前言:在C/C中对于变量的内存空间一般都是由程序员手动进行管理的,往往会伴随着大量的 malloc 和 free 操作,常常会有很多问题困扰开发者,这个代码会不会发生内存泄漏?会不会重复释放内存?但是在Java开发中我…

基于企业微信第三方接口开发,移除群成员通知

移除群成员通知 返回示例 {"flag": 0, "receiver": 0, "sender_name": "", "is_room": 1, "server_id": 15318083, "send_time": 1687688952, "sender": 1688855749266556, "referid&…

Spring源码十九:Bean实例化流程二

上一篇我们在Spring源码十八:Bean实例化流程一 中,主要讨论了Spring在实例化前的两重要准备工作,1、获取我们前面注册好的BeanDefinition,将GenericBeanDefinition封装为RootBeanDefinition如果Bean Definition只存在父容器中&…

.profile脚本

.profile 是一个用户级别的 shell 启动脚本,用于初始化用户环境设置,通常用于配置环境变量、设置路径、运行初始化命令等。以下是一个示例 if [ "$BASH" ]; thenif [ -f ~/.bashrc ]; then. ~/.bashrcfi fimesg n || true 这段代码通常出现在…

计算器原生js

目录 1.HTML 2.CSS 2.JS 4.资源 5.运行截图 6.下载连接 7.注意事项 1.HTML <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-s…

【C++】引用变量详解

&#x1f4e2;博客主页&#xff1a;https://blog.csdn.net/2301_779549673 &#x1f4e2;欢迎点赞 &#x1f44d; 收藏 ⭐留言 &#x1f4dd; 如有错误敬请指正&#xff01; &#x1f4e2;本文由 JohnKi 原创&#xff0c;首发于 CSDN&#x1f649; &#x1f4e2;未来很长&#…

文档去重(TF-IDF,MinHash, SimHash)

2个doc有些相似有些不相似&#xff0c;如何衡量这个相似度&#xff1b; 直接用Jaccard距离&#xff0c;计算量太大 TF-IDF: TF*IDF TF&#xff1a;该词在该文档中的出现次数&#xff0c; IDF&#xff1a;该词在所有文档中的多少个文档出现是DF&#xff0c;lg(N/(1DF)) MinHash …

数据分析_计划

我做大数据的有6年了&#xff0c;以前都是用sql&#xff0c;或者spark&#xff0c;java&#xff0c;scala&#xff0c;python去做。现在这些平台搭建、维护、大多数都是搭建一次就完了&#xff0c;而且维护大多是大厂直接用云平台去做。ETL也是就做一次就够了&#xff0c;我们公…

基于JAVA+SpringBoot+Vue+Uni-app前后端分离的校园好物小红书分享平台小程序

✌全网粉丝20W,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取项目下载方式&#x1f345; 一、项目背景介绍&#xff1a; 在快速数字化的时代背…

同三维T80004EA编解码器视频使用操作说明书:高清HDMI编解码器,高清SDI编解码器,4K超清HDMI编解码器,双路4K超高清编解码器

同三维T80004EA编解码器视频使用操作说明书&#xff1a;高清HDMI编解码器&#xff0c;高清SDI编解码器&#xff0c;4K超清HDMI编解码器&#xff0c;双路4K超高清编解码器 同三维T80004EA编解码器视频使用操作说明书&#xff1a;高清HDMI编解码器&#xff0c;高清SDI编解码器&am…

UniVue@v1.3.0版本发布

GitHub仓库 发布版本仓库&#xff1a;https://github.com/Avalon712/UniVue 开发版本仓库&#xff1a;https://github.com/Avalon712/UniVue-Develop UniVue拓展框架UniVue源生成器仓库&#xff1a;https://github.com/Avalon712/UniVue-SourceGenerator v1.3.0版本新增功能…

DangerWind-RPC-framework---四、SPI

SPI 即 Service Provider Interface &#xff0c;可以理解为专门提供给服务提供者或者扩展框架功能的开发者去使用的一个接口。SPI 将服务接口和具体的服务实现分离开来&#xff0c;将服务调用方和服务实现者解耦&#xff0c;能够提升程序的扩展性、可维护性。修改或者替换服务…

etcd 实现分布式锁

10 基于 Etcd 的分布式锁实现原理及方案

如何通过兔子和窝窝的故事理解“在机器人学习和研究中的获得成本与维护成本”(节选)

获得成本 掌握一门课程&#xff0c;以最为简单的学校成绩过60为例&#xff0c;需要按要求提交材料&#xff0c;包括作业、报告、实验和考试等&#xff0c;依据学分和考核要求的不同&#xff0c;需要对于花费时间和经历进行完成。 维护成本 考完了&#xff0c;如果被动学习那…

docker拉取镜像-配置阿里云镜像加速

1、配置阿里云镜像&#xff08;用于拉取镜像加速&#xff09; sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-EOF {"registry-mirrors": ["https://xxxxxxxx.mirror.aliyuncs.com"] } EOF sudo systemctl daemon-reload sudo syst…

Docker 使用基础(4)—存储卷

&#x1f3ac;慕斯主页&#xff1a;修仙—别有洞天 ♈️今日夜电波&#xff1a;秒針を噛む—ずっと真夜中でいいのに。 0:34━━━━━━️&#x1f49f;──────── 4:20 &#x1f504; ◀️ ⏸ …

JVM堆内存的结构,YGC,FGC的原理

JVM堆内存结构&#xff1a; JVM堆内存可分为三个区域&#xff1a;新生代&#xff08;Young Generation&#xff09;、年老代&#xff08;Tenured Generation&#xff0c;也叫做Old Generation&#xff09;和永久代&#xff08;Permanent Generation&#xff0c;也叫做Method Ar…

linux 设置nginx开机自启

1、关闭当前nginx运行 systemctl stop nginx 2、添加以下内容到nginx.service文件&#xff0c;注意nginx.pid文件的路径&#xff0c;要替换哦&#xff01; vim /etc/systemd/system/nginx.service [Unit] DescriptionThe NGINX HTTP and reverse proxy server Afternetwork…

ArcGIS如何快速对齐两个图层

1、问题 如何让两个图层快速对齐 2、使用捕捉工具 移动点或折点&#xff0c;使其与其他要素的折点、边或端点精确重合。 可指定捕捉规则来控制是将输入折点捕捉到指定距离范围内的最近折点、边还是端点。

MySQL数字相关数据处理函数

目录 1. 随机数生成 rand ( ) 2. 四舍五入 round&#xff08;&#xff09; 3. 舍去 truncate ( ) 4. 向上/下取整 5. 空处理 ifnull&#xff08; x , y &#xff09; 1. 随机数生成 rand ( ) rand ( ) 生成 0 到 1 的随机数&#xff1b; rand ( x ) 生成 0 到 1 的随机数…