2024-03-21 AIGC-FastGPT-本地知识库问答系统

相关文档:

接入 ChatGLM2-6B | FastGPT (fastai.site)

相关步骤:

FastGPT配置文件及OneAPI程序:
百度网盘 请输入提取码
提取码:wuhe

创建fastgpt目录:mkdir fastgpt

切换到fastgpt目录:cd fastgpt

下载docker-compose文件:curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml

下载config文件:curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

docker-compose文件github:https://github.com/labring/FastGPT/blob/main/files/deploy/fastgpt/docker-compose.yml

config文件github:https://github.com/labring/FastGPT/blob/main/projects/app/data/config.json

切换fastgpt目录:cd \wsl.localhost\Ubuntu\home\user-name\fastgpt user-name记得替换为你自己的用户名

拉取镜像:docker-compose pull

在后台运行容器:docker-compose up -d

FastGPT的页面:http://localhost:3020/

登录用户名为root,密码为docker-compose文件里DEFAULT_ROOT_PSW,默认密码1234

ChatGLM3官方的一键包链接:百度网盘 请输入提取码
提取码:glut

用docker部署m3e模型,默认用CPU运行:
docker run -d -p 6008:6008 --name=m3e-large-api registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
使用GPU运行:
docker run -d -p 6008:6008 --gpus all --name=m3e-large-api registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
原镜像:
docker run -d -p 6200:6008 --name=m3e-large-api stawky/m3e-large-api:latest

查看被系统保留的端口:
netsh int ipv4 show excludedport tcp
保留端口给程序使用:
netsh int ipv4 add excludedportrange protocol=tcp startport=<起始端口> numberofports=<排除端口数量>

测试m3e的api:
curl --location --request POST 'https://localhost:6008/v1/embeddings' \
--header 'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk' \
--header 'Content-Type: application/json' \
--data-raw '{
"model": "m3e",
"input": ["laf是什么"]
}'
localhost需要替换成你的ip地址,ip地址可以在你连接的网络的属性里查看,或者在cmd里使用:ipconfig查看WLAN或者以太网那一栏。注意,ip地址要填ipv4的地址,不要填成ipv6的地址

OneAPI网站:http://localhost:3000/

OneAPI网页后,使用root用户和默认密码123456登录

chatglm3的Base URL:http://localhost:8000 localhost修改为你的本地ip地址

m3e的Base URL:http://localhost:6008 localhost记得修改为你的本地ip地址

m3e密钥:sk-aaabbbcccdddeeefffggghhhiiijjjkkk

docker-compose文件修改OPENAI_BASE_URL:http://localhost:3000/v1 localhost记得替换为你的本地ip地址

docker-compose文件修改CHAT_API_KEY:填入从OneAPI令牌复制的key

修改config文件ChatModels:
{
"model": "chatglm3",
"name": "chatglm3",
"maxContext": 4000,
"maxResponse": 4000,
"quoteMaxToken": 2000,
"maxTemperature": 1,
"vision": false,
"defaultSystemChatPrompt": ""
},
ChatGLM3-6B支持的上下文长度为8k,你可以将maxContext和maxResponse改为8000
可以在defaultSystemChatPrompt里设置你的系统默认提示词

修改config文件QAModels:
{
"model": "chatglm3",
"name": "chatglm3",
"maxContext": 4000,
"maxResponse": 4000,
"price": 0
}

修改config文件VectorModels:
{
"model": "m3e",
"name": "m3e",
"price": 0.1,
"defaultToken": 500,
"maxToken": 1800
}
QAModels和VectorModels都添加好后,记得在括号的前面加个英文逗号,不然config文件无法生效

重新更新配置文件,依次输入命令:
cd \wsl.localhost\Ubuntu\home\user-name\fastgpt user-name记得换成你的Ubuntu用户名
docker-compose pull
docker-compose up -d

进入FastGPT网页:http://localhost:3020/
登录用户名为root,密码为docker-compose文件里DEFAULT_ROOT_PSW,默认密码1234

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/767674.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

29-goto语句

29-1 goto语句介绍 C语言中提供了可以随意滥用的goto语句和标记跳转的标号。 从理论上goto语句是没有必要的&#xff0c;实践中没有goto语句也可以很容易的写出代码。 但是某些场合下goto语句还是用得着的&#xff0c;最常见的用法就是终止程序在某些深度嵌套的结构的处理过程…

第十一届蓝桥杯大赛第二场省赛试题 CC++ 研究生组-回文日期

solution1&#xff08;通过50%&#xff09; #include<stdio.h> void f(int a){int t a;while(a){printf("%d", a % 10);a / 10;}if(t < 10) printf("0"); } int isLeap(int n){if(n % 400 0 || (n % 4 0 && n % 100 ! 0)) return 1;r…

语言模型transformers调用部分 (To be continue...

什么&#xff1f;&#xff01;&#xff01;&#xff01;原来自回归模型的model.generate不能用于训练&#xff01;&#xff01;&#xff1f;&#xff1f; 只能用法forward一次生成&#xff0c;但一次性只能得到一个tensor 就是在这里取最大值导致模型梯度断了&#xff0c;所以…

nextjs getServerSideProps 中 context 获取当前的路由

在 Next.js 中&#xff0c;getServerSideProps 函数允许您在服务器端获取数据并将其传递给页面组件。这个函数接收一个上下文对象作为参数&#xff0c;这个对象包含了页面的请求信息&#xff0c;其中也包括当前的路由信息。 context 对象包含一个 req 属性&#xff0c;它是一个…

抖音IP属地怎么更改

抖音是一个非常受欢迎的短视频平台&#xff0c;吸引了无数用户在上面分享自己的生活和才艺。然而&#xff0c;随着快手的火爆&#xff0c;一些用户开始担心自己的IP地址会被他人获取&#xff0c;引起个人隐私风险。那么&#xff0c;抖音用户又该如何更改到别的地方呢&#xff1…

父类子类构造方法调用示例

父类写无参构造&#xff0c;子类不写构造&#xff0c;实例化子类&#xff0c;会同时调用父类构造方法 public class Father {private String name;private int age;public Father() {System.out.println("父类无参构造");}} public class Son extends Father {priva…

私密个人相册 Android 藏起来你的照片和视频

珍藏每一刻 软件介绍版本号 1.0.0更新日期 2024-03-20 在数字时代&#xff0c;每个人都是自己故事的摄影师。私密个人相册应用&#xff0c;专为珍视隐私与回忆的你设计。我们提供一个安 全的空间&#xff0c;让你的每一张照片和每一个视频都得到妥善保护&#xff0c;同时也能…

手撕A*(效果不太好)

根据这篇博客基于C实现的A*算法&#xff08;链表和二叉堆实现&#xff09;_a*算法是不是必须用到链表?-CSDN博客修改了A*&#xff0c;用优先级队列和unordered_set&#xff0c;但是效果不太好&#xff0c;时间反而增加了&#xff0c;正在探索原因。 #include<vector> #…

通过dbeaver链接dm8数据库

一、环境说明 windows 11 vmware 17 ubuntu 22 tt:~$ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 22.04.3 LTS Release: 22.04 Codename: jammytt:~$ docker info Client:Version: 24.0.5Context: d…

数列特征

试题 基础练习 数列特征 提交此题 评测记录 资源限制 内存限制&#xff1a;256.0MB C/C时间限制&#xff1a;1.0s Java时间限制&#xff1a;3.0s Python时间限制&#xff1a;5.0s 问题描述 给出n个数&#xff0c;找出这n个数的最大值&#xff0c;最小值&#xf…

taro常用的一些功能

1.打电话 Taro.makePhoneCall({phoneNumber:that.state.tell,success:function(){}}) 2.弹窗获取位置-->获取本人地理位置 // 弹窗 Taro.showModal({content: 即将前往设置&#xff0c;允许小程序获取您的位置信息,showCancel:false,success: function (res) {if (res.co…

C++之移动语义与智能指针

目录 移动语义 1、几个基本概念的理解 2、复制控制语义的函数 3、移动控制语义的函数 3.1、移动构造函数: 3.2、移动赋值函数 4.区别 5、std::move函数 6.代码演示: 资源管理与智能指针 一、C语言中的问题 二、C的解决办法(RAII技术)&#xff1a; 三、四种智能指针…

【软考】蠕虫病毒

目录 一、概念1.1 说明 二、示例2.1 震网2.2 熊猫烧香2.2 红色代码2.3 爱虫病毒 一、概念 1.1 说明 1.一段可以借助程序自行传播的程序或代码 二、示例 2.1 震网 1.Stuxnet 2.利用系统漏洞破坏工业基础设施&#xff0c;攻击工业控制系统 2.2 熊猫烧香 1.是一种经过多次变种…

2024年产品品牌化深度分析:消费者心理与品牌化、产品质量的权衡

随着市场竞争的加剧和消费者需求的多样化&#xff0c;产品品牌化已经成为企业不可或缺的战略选择。在2024年&#xff0c;当消费者面对众多商品时&#xff0c;品牌化与产品质量之间的权衡成为了消费者决策的重要因素。那么&#xff0c;在消费者心理中&#xff0c;品牌化重要还是…

cadence中run pspice运行仿真 光标搜索Search Command

cadence中run pspice运行仿真 光标搜索Search Command 在cadence进行波形分析时&#xff0c;如果可以随时找到对应的点分析十分方便。 也就是cadence中的光标搜索&#xff08;Search Command&#xff09;功能 但是需要输入正确形式才能使用 官方说明&#xff1a;PSpice User…

深入理解Java反射:原理、机制及应用场景解析

引言 Java反射是一项强大的技术&#xff0c;它允许程序在运行时获取类的信息并操作类或对象的属性、方法及构造方法。本文将深入探讨Java反射的原理、机制&#xff0c;并通过丰富的例子和应用场景来展示其重要性和灵活性。 反射的原理 Java反射的核心原理是通过java.lang.re…

【软件测试_黑白盒测试】白盒测试黑盒测试 区别

从政府工作报告探计算机行业发展 政府工作报告作为政府工作的全面总结和未来规划&#xff0c;不仅反映了国家整体的发展态势&#xff0c;也为各行各业提供了发展的指引和参考。随着信息技术的快速发展&#xff0c;计算机行业已经成为推动经济社会发展的重要引擎之一。因此&…

chatGPT中文在线版本(亲测可用

ChatGPT是一个先进的自然语言处理模型&#xff0c;由OpenAI开发。它通过深度学习技术训练而成&#xff0c;可以进行对话、回答问题等多种自然语言处理任务。对于学生、开发者、研究人员和任何对人工智能感兴趣的人来说&#xff0c;这是一个非常有用的工具。 最近找到一个国内可…

Linux 服务升级:Nginx 热升级 与 平滑回退

目录 一、实验 1.环境 2.Kali Linux 使用nmap扫描CentOS 3.Kali Linux 远程CentOS 4.Kali Linux 使用openvas 扫描 CentOS 5.Nginx 热升级 6.Nginx 平滑回退 二、问题 1.kill命令的信号有哪些 2.平滑升级与回退的信号 一、实验 1.环境 &#xff08;1&#xff09;主机…

鸿蒙网络开发学习:【ylong_http】

简介 ylong_http 构建了完整的 HTTP 能力&#xff0c;支持用户使用 HTTP 能力完成通信场景的需求。 ylong_http 使用 Rust 编写&#xff0c;为 OpenHarmony 的 Rust 能力构筑提供支持。 ylong_http 在 OpenHarmony 中的位置 ylong_http 向 OpenHarmony 系统服务层中的网络协…