大模型系列-fastgpt,ollama搭建本地知识库

大模型系列-fastgpt,ollama搭建本地知识库

      • 1. 安装fastgpt,oneapi
      • 2. 安装ollama运行大模型
        • 2.1. 安装ollama
        • 2.2. ollama下载模型
      • 3. 安装开源的文本向量模型

1. 安装fastgpt,oneapi

  • docker-compose安装
  1. 下载docker-compose.yml,config.json
mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json# pgvector 版本(测试推荐,简单快捷)
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml
# milvus 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml
  1. 修改docker-compose.yml里面的内容
# 数据库的默认账号和密码仅首次运行时设置有效
# 如果修改了账号密码,记得改数据库和项目连接参数,别只改一处~
# 该配置文件只是给快速启动,测试使用。正式使用,记得务必修改账号密码,以及调整合适的知识库参数,共享内存等。
# 如何无法访问 dockerhub 和 git,可以用阿里云(阿里云没有arm包)version: '3.3'
services:# dbpg:# image: pgvector/pgvector:0.7.0-pg15 # docker hubimage: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云container_name: pg# restart: alwaysports: # 生产环境建议不要暴露- 5432:5432networks:- fastgptenvironment:# 这里的配置只有首次运行生效。修改后,重启镜像是不会生效的。需要把持久化数据删除再重启,才有效果- POSTGRES_USER=root- POSTGRES_PASSWORD=root- POSTGRES_DB=postgresvolumes:- ./pg/data:/var/lib/postgresql/datamongo:# image: mongo:5.0.18 # dockerhubimage: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云# image: mongo:4.4.29 # cpu不支持AVX时候使用container_name: mongo# restart: alwaysports:- 27017:27017networks:- fastgptcommand: mongod --keyFile /data/mongodb.key --replSet rs0environment:- MONGO_INITDB_ROOT_USERNAME=root- MONGO_INITDB_ROOT_PASSWORD=rootvolumes:- ./mongo/data:/data/dbentrypoint:- bash- -c- |openssl rand -base64 128 > /data/mongodb.keychmod 400 /data/mongodb.keychown 999:999 /data/mongodb.keyecho 'const isInited = rs.status().ok === 1if(!isInited){rs.initiate({_id: "rs0",members: [{ _id: 0, host: "mongo:27017" }]})}' > /data/initReplicaSet.js# 启动MongoDB服务exec docker-entrypoint.sh "$$@" &# 等待MongoDB服务启动until mongo -u root -p root --authenticationDatabase admin --eval "print('waited for connection')" > /dev/null 2>&1; doecho "Waiting for MongoDB to start..."sleep 2done# 执行初始化副本集的脚本mongo -u root -p root --authenticationDatabase admin /data/initReplicaSet.js# 等待docker-entrypoint.sh脚本执行的MongoDB服务进程wait $$!# fastgptsandbox:container_name: sandbox# image: ghcr.io/labring/fastgpt-sandbox:latest # gitimage: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:latest # 阿里云networks:- fastgpt# restart: alwaysfastgpt:container_name: fastgpt# image: ghcr.io/labring/fastgpt:v4.8.9 # gitimage: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.9 # 阿里云ports:- 3000:3000networks:- fastgptdepends_on:- mongo- pg- sandbox# restart: alwaysenvironment:# root 密码,用户名为: root。如果需要修改 root 密码,直接修改这个环境变量,并重启即可。- DEFAULT_ROOT_PSW=root# AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。- OPENAI_BASE_URL=http://host.docker.internal:3000/v1# AI模型的API Key。(这里默认填写了OneAPI的快速默认key,测试通后,务必及时修改)- CHAT_API_KEY=sk-1234567890# 数据库最大连接数- DB_MAX_LINK=30# 登录凭证密钥- TOKEN_KEY=root# root的密钥,常用于升级时候的初始化请求- ROOT_KEY=root# 文件阅读加密- FILE_TOKEN_KEY=filetoken# MongoDB 连接参数. 用户名myusername,密码mypassword。- MONGODB_URI=mongodb://root:root@mongo:27017/fastgpt?authSource=admin# pg 连接参数- PG_URL=postgresql://root:root@pg:5432/postgres# sandbox 地址- SANDBOX_URL=http://localhost:3000# 日志等级: debug, info, warn, error- LOG_LEVEL=info- STORE_LOG_LEVEL=warnvolumes:- ./config.json:/app/data/config.json# oneapimysql:# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云image: mysql:8.0.32container_name: mysql# restart: alwaysports:- 3306:3306networks:- fastgptcommand: --default-authentication-plugin=mysql_native_passwordenvironment:# 默认root密码,仅首次运行有效MYSQL_ROOT_PASSWORD: rootMYSQL_DATABASE: oneapivolumes:- ./mysql:/var/lib/mysqloneapi:container_name: oneapi# image: ghcr.io/songquanpeng/one-api:v0.6.7image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云ports:- 3001:3000depends_on:- mysqlnetworks:- fastgpt# restart: alwaysenvironment:# mysql 连接参数- SQL_DSN=root:root@tcp(mysql:3306)/oneapi# 登录凭证加密密钥- SESSION_SECRET=oneapikey# 内存缓存- MEMORY_CACHE_ENABLED=true# 启动聚合更新,减少数据交互频率- BATCH_UPDATE_ENABLED=true# 聚合更新时长- BATCH_UPDATE_INTERVAL=10# 初始化的 root 密钥(建议部署完后更改,否则容易泄露)- INITIAL_ROOT_TOKEN=rootvolumes:- ./oneapi:/data
networks:fastgpt:
  1. 启动容器
docker-compose up -d
  1. 登录oneapi
    可以通过ip:3001访问OneAPI,默认账号为root密码为123456
  2. 登录fastgpt
    可以通过ip:3000访问FastGPT,默认账号为root密码为docker-compose.yml环境变量里设置的 DEFAULT_ROOT_PSW

2. 安装ollama运行大模型

参考:Ollama 中文文档

2.1. 安装ollama
docker pull ollama/ollama:latest
docker run -d --gpus=all -v /media/geekplusa/GeekPlusA1/ai/models/llm/models/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# 使ollama保持模型加载在内存(显存)中
docker run -d --gpus=all -e OLLAMA_KEEP_ALIVE=-1  -v /media/geekplusa/GeekPlusA1/ai/models/llm/models/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
2.2. ollama下载模型
  • 运行qwen:7b模型
docker exec -it ollama ollama run qwen:7b
  • 测试
curl http://localhost:11434/api/chat -d '{"model": "qwen:7b","messages": [{"role": "user","content": "你是谁?"}]
}'

3. 安装开源的文本向量模型

由于M3E模型不可商用,由可商用模型bge-m3替换,安装

  • 下载bge-small-zh-v1.5模型
git clone https://www.modelscope.cn/Xorbits/bge-small-zh-v1.5.git
cd bge-small-zh-v1.5
wget https://www.modelscope.cn/models/Xorbits/bge-small-zh-v1.5/resolve/master/pytorch_model.bin
  • 启动模型
from sentence_transformers import SentenceTransformer
import torch
from flask import Flask, request, jsonify
import os
import threadingm3e = SentenceTransformer("bge-m3")if torch.cuda.is_available():m3e=m3e.to("cuda")print("现在使用GPU模式运行M3模型")
else:print("现在使用CPU模式运行M3模型")# print("Enter your authtoken, which can be copied from https://dashboard.ngrok.com/auth")
# conf.get_default().auth_token = getpass.getpass()os.environ["FLASK_ENV"] = "development"app = Flask(__name__)# Define Flask routes
@app.route("/")
def index():return "这是BGE-M3的API接口,请访问/v1/embeddings 使用POST请求"@app.route('/v1/embeddings', methods=['POST'])
def embeddings():data = request.jsoninput_text = data.get('input')print(f"/v1/embeddings 收到请求,输入文本为:{input_text}")model = data.get('model')if model is None:model = "BAAI/bge-m3"if input_text is None:return jsonify(error="No input text provided"), 400# input can be string or array of strings# if isinstance(input_text, str):#     sentences = [input_text]# elif isinstance(input_text, list):#     sentences = input_textsentences = input_text if isinstance(input_text, list) else [input_text]embeddings = m3e.encode(sentences,convert_to_tensor=True,show_progress_bar=True)embeddings = embeddings.tolist()data = [{"object": "embedding", "embedding": x, "index": i} for i, x in enumerate(embeddings)]# Mimic the response structure of the OpenAI APIresponse = {"object": "list","data": data,"model": model,"usage": {"prompt_tokens": 0,"total_tokens": 0}}return jsonify(response)if __name__ == '__main__':# Start the Flask server in a new threadthreading.Thread(target=app.run, kwargs={"use_reloader": False,"debug":True,"host": "0.0.0.0"}).start()

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/53652.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

机械设计基础知识---屈服强度

1、定义 屈服强度是金属材料发生屈服现象时的屈服极限,也就是抵抗微量塑性变形的应力。对于无明显屈服现象出现的金属材料,规定以产生0.2%残余变形的应力值作为其屈服极限,称为条件屈服极限或屈服强度。 大于屈服强度的外力作用,将…

本地部署大语言模型

本地部署大语言模型(LLMs)是一个涉及多个步骤和技术细节的过程,包括硬件准备、软件安装、模型下载与配置等。以下是一个详细且全面的指南,旨在帮助读者在本地环境中成功部署大语言模型。 一、硬件准备 本地部署大语言模型对硬件…

【linux】进程控制(2)

3. 进程等待 1. 是什么 通过系统调用 wait/waitpid 对子进程的退出状态进行检测和回收的功能 2. 为什么 僵尸进程无法杀死,通过进程等待来杀掉它,进而解决内存泄漏的问题 (一)进程等待的方法 a. wait : 代码 wait : 等待任意一…

B3635 硬币问题

题目描述 今有面值为 1、5、11 元的硬币各无限枚。 想要凑出 nn 元,问需要的最少硬币数量。 输入格式 仅一行,一个正整数 nn。 输出格式 仅一行,一个正整数,表示需要的硬币个数。 输入输出样例 输入 #1复制 15 输出 #1复…

某仿soul欲音社交系统存在任意文件读取漏洞

1 阅读须知 技术文章仅供参考,此文所提供的信息只为网络安全人员对自己所负责的网站、服务器等(包括但不限于)进行检测或维护参考,未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直…

医院管理|基于java的医院管理系统小程序(源码+数据库+文档)

医院管理系统小程序 目录 基于java的医院管理系统小程序 一、前言 二、系统设计 三、系统功能设计 医生信息管理 排班信息管理 科室信息管理 科室预约 病历信息 四、数据库设计 五、核心代码 六、论文参考 七、最新计算机毕设选题推荐 八、源码获取:…

llvm后端之td定义指令信息

llvm后端之td定义指令信息 引言1 定义指令2 定义Operand3 定义SDNode4 PatFrags4.1 ImmLeaf4.2 PatLeaf 5 ComplexPattern6 谓词条件7 理解dag 引言 llvm后端通过td定义指令信息,并通过dag匹配将IR节点转换为平台相关的指令。 1 定义指令 td通过class Instructio…

AVL树的模拟实现(插入,验证)

目录 前言 AVL树的概念 AVL树的旋转 旋转 左旋 右旋 左右旋 右左旋 AVL的insert的实现 AVL的验证 完整代码 总结 前言 本文会先将AVL树的旋转进行讲解, 然后再对代码进行实现和展示。 AVL树的概念 首先 AVL树 是一种平衡树, 平衡树是在二…

特斯拉的底牌

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领…

android BLE 蓝牙的连接(二)

下面是基于实际的项目得到的具体步骤及核心代码 1、权限问题 先判断手机是否满足android4.3以上版本,再判断手机是否开启蓝牙 主要涉及蓝牙权限和位置权限,注意不同android版本之间权限申请的差异,以及android权限动态申请和静态申请的区别 …

MySQL——数据库的高级操作(一)数据备份与还原(2)数据的还原

当数据库中的数据遭到破坏时,可以通过备份好的数据文件进行还原,这里所说的还原是指还原数据库中的教据,而库是不能被还原的,我们知道,备份文件实际上就是由多个 CRRATE,INSERT 和 DROP 语句组成&#xff0…

【每日一题】LeetCode 98.验证二叉搜索树(树、深度优先搜索、二叉搜索树、二叉树)

【每日一题】LeetCode 98.验证二叉搜索树(树、深度优先搜索、二叉搜索树、二叉树) 题目描述 给定一个二叉树的根节点 root,判断该二叉树是否是一个有效的二叉搜索树(BST)。有效的二叉搜索树需要满足以下条件&#xf…

arm平台常用工具和动态库编译

目录 perf 交叉编译交叉编译zlib交叉编译 elfutils交叉编译 perfperf 使用 libconfig 交叉编译openssl 交叉编译libpcap 交叉编译统信、龙芯等平台编译QT交叉编译编译QT源码编译QtCreator 编译ssl编译libsrtp(2.3.0版本)编译libyuvlibopus编译libopenh264编译libusrsctp编译lib…

TCP 拥塞控制:一场网络数据的交通故事

从前有条“高速公路”,我们叫它互联网,而这条公路上的车辆,则是数据包。你可以把 TCP(传输控制协议)想象成一位交通警察,负责管理这些车辆的行驶速度,以防止交通堵塞——也就是网络拥塞。 第一…

Modbus-RTU之C语言实现

Modbus-RTU之C语言实现 Modbus-RTU之C语言实现引言Modbus-RTU的C语言实现说明.h 文件.c 文件 总结 Modbus-RTU之C语言实现 引言 前面我们介绍过Modbus-RTU传输协议(RS-485软件层协议之Modbus-RTU),它是一种基于串口的通信协议。在这一节我们…

C语言关键字之Static

在一些.C文件中,总能看到static的字样,static作为关键字在 C 和 C 中具有重要的作用。它提供了多种使用方式,帮助程序员控制变量和函数的作用域和生命周期。以下是详细介绍。 1. 静态变量 1.1 在函数内部的静态变量 当一个变量被声明为“st…

ssl 协议工作过程

ssl 协议工作过程 ChatGPT 说: ChatGPT SSL(Secure Sockets Layer)协议是用来确保网络通信安全的加密协议,已被TLS(Transport Layer Security)取代,但它的工作过程仍然是理解现代加密协议的重…

MySQL索引优化与B+树【后端 14】

MySQL索引优化与B树 在MySQL数据库中,索引是优化查询性能的关键技术之一。B树作为一种广泛使用的索引结构,在MySQL的InnoDB存储引擎中扮演着核心角色。本文将详细介绍B树的结构特点及其在MySQL索引优化中的应用。 B树的结构特点 B树是B-树的一个变体&a…

Linux通过特定端口查看服务是否启动

Linux通过特定端口查看服务是否启动 你可以使用netstat或ss命令来检查特定端口上的服务。例如&#xff0c;使用ss -tuln | grep <端口号>来查看端口是否被占用。 netstat 你可以使用以下命令来查看特定端口上的服务&#xff1a; netstat -tuln | grep <端口号>…

uni-app怎么使用uni-icons

首先在官网&#xff08;uni-icons 图标 | uni-app官网&#xff09;中找到下载地址 uni-icons 图标 - DCloud 插件市场 把这个插件下载下来。目录结构是这样的。我们找到uni_modules 把里面的uni-icons粘贴到自己的项目中 我是放在了我的components下面了 然后再页面中引用这个…