Langchain-Chatchat 从入门到精通（基于本地知识库的问答系统）（更新中）

目录

  • 前言
  • 一、Langchain-Chatchat介绍
    • 1-1、Langchain-Chatchat介绍
    • 1-2、LangChain+ChatGLM 工作流
    • 1-3、文档角度的工作流
  • 二、快速上手
    • 2-0、硬件要求
    • 2-1、环境配置
    • 2-2、模型下载
    • 2-3、初始化知识库和配置文件
    • 2-4、一键启动
  • 三、配置文件详解（config目录下）
    • 3-1、basic_config
    • 3-2、kb_config
    • 3-3、model_config
    • 3-4、prompt_config
    • 3-5、server_config
  • 四、其他问题
    • 4-1、如何开启量化模式？
    • 4-2、加载其他模型？
    • 4-3、加载BaiChuan模型报错AttributeError: 'BaichuanTokenizer' object has no attribute 'sp_model'
    • 4-4、加载通义千问模型报错KeyError: 'qwen2'
  • 总结

前言

一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。（本文侧重于整个项目的理解和内容调节，如部署遇到问题请看结尾的其他参考文章）

一、Langchain-Chatchat介绍

1-1、Langchain-Chatchat介绍

在这里插入图片描述
Langchain-Chatchat 项目地址: https://github.com/chatchat-space/Langchain-Chatchat

一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

依托于本项目支持的开源 LLM 与 Embedding 模型，本项目可实现全部使用开源模型离线私有部署。与此同时，本项目也支持 OpenAI GPT API 的调用，并将在后续持续扩充对各类模型及模型 API 的接入。

本项目实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答。

1-2、LangChain+ChatGLM 工作流

项目实现原理如下：

  • 加载文件
  • 读取文本
  • 文本分割
  • 文本向量化
  • 问句向量化
  • 在文本向量中匹配出与问句向量最相似的top k个
  • 匹配出的文本作为上下文和问题一起添加到Prompt中去
  • 提交给LLM生成回答
    在这里插入图片描述

1-3、文档角度的工作流

在这里插入图片描述

二、快速上手

Notice: 强烈建议直接使用镜像！！！个人去搭建环境真的会遇到亿点点问题😍

2-0、硬件要求

如果想要顺利在GPU运行本地模型的 FP16 版本，你至少需要以下的硬件配置，来保证在我们框架下能够实现 稳定连续对话

ChatGLM3-6B & LLaMA-7B-Chat 等 7B模型

  • 最低显存要求: 14GB
  • 推荐显卡: RTX 4080

Qwen-14B-Chat 等 14B模型

  • 最低显存要求: 30GB
  • 推荐显卡: V100

Yi-34B-Chat 等 34B模型

  • 最低显存要求: 69GB
  • 推荐显卡: A100

Qwen-72B-Chat 等 72B模型

  • 最低显存要求: 145GB
  • 推荐显卡：多卡 A100 以上

注意： 以上显存占用仅供参考，实际占用请以nvidia-smi为准

2-1、环境配置

# 拉取仓库
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git# 进入目录
$ cd Langchain-Chatchat# 安装全部依赖
$ pip install -r requirements.txt 
$ pip install -r requirements_api.txt
$ pip install -r requirements_webui.txt  # 默认依赖包括基本运行环境（FAISS向量库）。如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。

2-2、模型下载

下载模型要先安装lfs：https://docs.github.com/zh/repositories/working-with-files/managing-large-files/installing-git-large-file-storage
备注： 下载模型可能会因为网络问题无法下载，可以考虑不翻墙的方法,在魔搭社区下载！https://modelscope.cn/models

$ git lfs install
$ git clone https://huggingface.co/THUDM/chatglm3-6b
$ git clone https://huggingface.co/BAAI/bge-large-zh

2-3、初始化知识库和配置文件

$ python copy_config_example.py
$ python init_database.py --recreate-vs

更新知识库表：

python init_database.py --create-tables

2-4、一键启动

$ python startup.py -a

启动后的界面如下：
在这里插入图片描述

其他：

# api服务启动，访问0.0.0.0:7861/docs
python server/api.py# Web UI服务启动，访问http://localhost:8501/
streamlit run webui.py

三、配置文件详解（config目录下）

3-1、basic_config

basic_config介绍： 基础配置文件，记录日志格式、日志存储路径以及临时文件目录。一般无需修改。

代码界面截图如下所示
在这里插入图片描述

3-2、kb_config

kb_config介绍： 向量数据库配置、分词器配置、知识库配置等。

代码界面截图如下所示：
在这里插入图片描述

3-3、model_config

model_config介绍： 模型配置项，包括选用的Embedding、要运行的LLM、在线LLM的api、key的配置。

代码界面截图如下所示：

在这里插入图片描述
支持的联网模型：

  • 智谱AI
  • 阿里云通义千问
  • 百川
  • ChatGPT
  • Gimini
  • Azure OpenAI
  • MiniMax
  • 讯飞星火
  • 百度千帆
  • 字节火山方舟

目前支持的本地向量数据库列表如下：

  • FAISS
  • Milvus
  • PGVector
  • Chroma

默认配置如下：

  • LLM: Chatglm3-6b
  • Embedding Models: m3e-base
  • TextSplitter: ChineseRecursiveTextSplitter
  • Kb_dataset: faiss

3-4、prompt_config

prompt_config介绍： 提示词配置，包括基础的大模型对话提示词、知识库的对话提示词、搜索引擎的对话提示词、与Agent对话的提示词。

  • llm_chat: 最基本的对话提示词。
  • knowledge_base_chat: 与知识库对话的提示词。
  • agent_chat: 与Agent对话的提示词。

Notice： prompt模板使用Jinja2语法，简单点就是用双大括号代替f-string的单大括号 请注意，本配置文件支持热加载，修改prompt模板后无需重启服务。

代码界面截图如下所示：
在这里插入图片描述

3-5、server_config

server_config介绍： 服务器和端口的配置项，如果需要修改端口号的话可以在这里进行修改。

Notice： 在启动startup.py时，可用通过–model-worker --model-name xxxx指定模型，不指定则为LLM_MODEL

代码界面截图如下所示：

在这里插入图片描述

四、其他问题

4-1、如何开启量化模式？

在配置文件server_config文件里有Load_8bit参数，改为True即可：

在这里插入图片描述

4-2、加载其他模型？

  • 在model_config文件夹里我们可以看到该框架支持的模型：

在这里插入图片描述

  • 首先我们需要在model_config里修改模型以及Embedding的根目录，将下载好的模型放于该根目录下，并且模型文件夹名称要与上边的模型名称一致。例如：mv Qwen1___5-14B/ Qwen1.5-14B-Chat

在这里插入图片描述

  • 若需要使用在线模型，只需把申请好的API_KEY等填入即可。

在这里插入图片描述

  • 模型下载请去结尾参考文章魔搭社区官网下载。

4-3、加载BaiChuan模型报错AttributeError: ‘BaichuanTokenizer’ object has no attribute ‘sp_model’

解决方法： 由于版本冲突导致，需要更改以下包的版本

pip install transformers==4.33.3
pip install torch==2.0.1
pip install triton==2.0.0

4-4、加载通义千问模型报错KeyError: ‘qwen2’

解决方法： 由于版本冲突导致，需要更改以下包的版本

# 大于这个版本也是ok的
pip install --upgrade transformers==4.37.2

（腹语）： 这个transformers版本是没法加载BaiChuan的，所以你只能二选一！

参考文章：

Langchain官方GitHub
Langchain-Chatchat 官方Github
Langchain-Chatchat 官方Github----疑难问题解答
魔搭社区官网
【大模型实践】使用 Langchain-Chatchat 进行本地部署的完整指南).
Langchain-Chatchat + 阿里通义千问Qwen 保姆级教程 | 次世代知识管理解决方案
Langchain-Chatchat大语言模型本地知识库的踩坑、部署、使用
【大模型实践】使用 Langchain-Chatchat 进行本地部署的完整指南
LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持 FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embe
Langchain-Chatchat开源库使用的随笔记（一）

总结

确认过眼神，我遇上对的人💕💕💕

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/808723.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

MybatisPlus实现数据权限隔离

MybatisPlus实现数据权限隔离

引言 Mybatis Plus对Mybatis做了无侵入的增强，非常的好用，今天就给大家介绍它的其中一个实用功能：数据权限插件。 数据权限插件的应用场景和多租户的动态拦截拼接SQL一样。建议点赞收藏关注，方便以后复习查阅。 依赖 首先导入M…
阅读更多...
【Java集合】面试题汇总

【Java集合】面试题汇总

Java 集合Java 集合概览1. List, Set, Queue, Map 四者的区别？2. ArrayList 和 Array（数组）的区别？3. ArrayList 和 Vector 的区别?4. Vector 和 Stack 的区别?（了解即可）5. ArrayList 可以添加 null 值吗…
阅读更多...
【端云一体化开发】云函数本地运行/调试启动失败的两种解决方案

【端云一体化开发】云函数本地运行/调试启动失败的两种解决方案

最近本地调试云函数一直出现这个错误：Before launch task execute failed! details:java.lang.lllegalStateException: npm installfailed 这个问题的原因似乎是运行云函数的时候会重新下载 npm 及相关依赖文件，但是 DevEco 的 npm 模块出错导致这个步骤…
阅读更多...
智慧园区平台再升级！智慧迭代，服务升级

智慧园区平台再升级！智慧迭代，服务升级

伴随物联网、人工智能等技术的迅速发展和智能化水平的提高，智慧园区成为了现代区域经济高质量发展的重要组成部分，上承智慧城市的建设，下接智慧运营和管理。智慧园区是一种基于信息技术的智能化管理模式，通过物联网、大数据、人工…
阅读更多...
java中常见的几种排序

java中常见的几种排序

常见的几种排序整理 冒泡排序选择排序插入排序希尔排序快速排序归并排序堆排序 冒泡排序 思想：对比当前值的下一个值，如果大就交换位置 代码： /*** 冒泡排序*/ public class bubbleSort {public static void main(String[] args) {int[] ar…
阅读更多...
【域适应】深度域适应常用的距离度量函数实现

【域适应】深度域适应常用的距离度量函数实现

关于 深度域适应中，有一类方法是实现目标域和源域的特征对齐，特征对齐的衡量函数主要包括MMD，MK-MMD，A-distance，CORAL loss， Wasserstein distance等等。本文总结了常用的特征变换对齐的函数定义。 工具 …
阅读更多...
初始C++之缺省参数 函数重载 引用

初始C++之缺省参数 函数重载 引用

初始C之缺省参数 函数重载 引用& 文章目录 初始C之缺省参数 函数重载 引用&一、缺省参数1.1 缺省参数的定义1.2 缺省参数的分类1.3 注意事项 二、 函数重载2.1 函数重载的定义2.2 参数个数不同2.3 参数类型不同2.4 类型顺序不同2.5 为什么C语言不支持函数重载 三、引用…
阅读更多...
OpenHarmony南向开发案例：【智能保险柜】

OpenHarmony南向开发案例：【智能保险柜】

样例简介 智能保险柜实时监测保险柜中振动传感器，当有振动产生时及时向用户发出警报。在连接网络后，配合数字管家应用，用户可以远程接收智能保险柜的报警信息。后续可扩展摄像头等设备，实现对危险及时报警，及时处理&a…
阅读更多...
探究 ChatGPT 的心脏--Transformer（基础知识第一篇）

探究 ChatGPT 的心脏--Transformer（基础知识第一篇）

Transformer 是 ChatGPT 的核心部分，如果将 AI 看做一辆高速运转的汽车，那么 Transformer 就是最重要的引擎。它是谷歌于 2017 年发表的《Attention is All You Need》中提出的 Sequence-to-sequence 的模型，诞生之后便一统江湖，在…
阅读更多...
项目存放在git上，在jenkins使用docker打包并推送到Ubuntu上运行

项目存放在git上，在jenkins使用docker打包并推送到Ubuntu上运行

项目添加dockerfile 在需要打包的工程的根目录添加Dockerfile文件，文件内容： # 设置JAVA版本 FROM openjdk:8 # 指定存储卷，任何向/tmp写入的信息都不会记录到容器存储层 VOLUME /tmp# 拷贝运行JAR包 ARG JAR_FILE COPY ${JAR_FILE} app.jar…
阅读更多...
蓝桥杯练习系统（算法训练）ALGO-958 P0704回文数和质数

蓝桥杯练习系统（算法训练）ALGO-958 P0704回文数和质数

资源限制 内存限制：256.0MB C/C时间限制：1.0s Java时间限制：3.0s Python时间限制：5.0s 一个数如果从左往右读和从右往左读数字是完全相同的，则称这个数为回文数，比如898,1221,15651都是回文数。编写…
阅读更多...
内核驱动更新

内核驱动更新

1.声明我们是开源的 .c 文件末尾加上 2.在Kconfig里面修改设备，bool（双态）-----》tristate（三态） 3.进入menuconfig修改为M 4.编译内核 make modules 也许你会看到一个 .ko 文件 5.复制到根目录文件下 在板子…
阅读更多...
4.11作业

4.11作业

服务器端 #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include<QTcpServer> //服务器端类 #include<QMessageBox> //消息对话框 #include<QTcpSocket> //客户端类 #include<QList> //链表容器QT_BEGIN_NAMESPACE namespace Ui { cla…
阅读更多...
Pycharm远程连接服务器配置详解

Pycharm远程连接服务器配置详解

背景&#xff1a; 相信很多人都遇到了这种情况&#xff0c;日常的开发和程序的验证都需要在linux环境下验证&#xff0c;而我们都是使用本地windows来进行开发或者脚本的编写&#xff0c;然后再push到远程仓库&#xff0c;再到linux环境下pull下来代码验证&#xff0c;这样每次…
阅读更多...
CorelDRAW21.2.4中文最新官方和谐版下载

CorelDRAW21.2.4中文最新官方和谐版下载

CorelDRAW是一款由加拿大Corel公司出品的平面设计软件&#xff0c;也被称为CDR。它是一款功能强大的矢量图形制作和排版软件&#xff0c;主要面向绘图设计师和印刷输出人员。该软件提供了矢量插图、页面布局、图片编辑和设计工具&#xff0c;广泛应用于排版印刷、矢量图形编辑及…
阅读更多...
HWOD：密码强度等级

HWOD：密码强度等级

一、知识点 回车键的ASCII码是10 如果使用EOF&#xff0c;有些用例不通过 二、题目 1、描述 密码按如下规则进行计分&#xff0c;并根据不同的得分为密码进行安全等级划分。 一、密码长度: 5 分: 小于等于4 个字符 10 分: 5 到7 字符 25 分: 大于等于8 个字符 二、字母: 0…
阅读更多...
NotePad++ 快速生成SQL IN （‘’，‘’）

NotePad++ 快速生成SQL IN （‘’，‘’）

sql In(‘’&#xff0c;‘’)这种形式 第一步&#xff1a;AltC 鼠标放在第一行最左边 第二步 CtrlH $代表行末 第三步 去掉每行换行符 换行可能是"\n" 或者"\r"或者"\r\n" 结果&#xff1a;
阅读更多...
容错组合导航

容错组合导航

在初始值正确的情况下&#xff0c;惯性导航短期精度较高&#xff0c;但是其误差随着时间是累计的。如果要提高惯性导航的长期精度&#xff0c;就必须提高惯性器件的精度和初始读准精度&#xff0c;这必将大大提高成本。 如果将惯性导航与其他导航系统适当地组合起来&#xff0c…
阅读更多...
Java泛型中 T 和 ? 傻傻分不清楚

Java泛型中 T 和 ? 傻傻分不清楚

1.定义&#xff1a; JDK5.0后&#xff0c;Java提供了泛型。 泛型是一种在编译时提供类型安全的方式&#xff0c;允许程序员在定义类、接口和方法时使用类型参数。这样&#xff0c;可以在不损失类型安全的情况下&#xff0c;创建可重用的代码。 泛型有两种主要的使用形式&#x…
阅读更多...
linux学习：栈

linux学习：栈

目录 顺序栈 结构 初始化一个空顺序栈 压栈 出栈 例子 十进制转八进制 链式栈 管理结构体的定义 初始化 压栈 出栈 顺序栈 顺序栈的实现&#xff0c;主要就是定义一块连续的内存来存放这些栈元素&#xff0c;同时为了方便管理&#xff0c; 再定义一个整数变量来代表…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023