Langchain-Chatchat的markdownHeaderTextSplitter使用

文章目录

    • 背景
    • 排查步骤
      • 官方issue排查
      • 测试正常对话
      • 测试官方默认知识库
      • Debug排查
        • vscode配置launch.json
        • 命令行自动启动conda
        • debug知识库搜索
        • 测试更换ChineseRecursiveTextSplitter分词器
      • 结论
    • 关于markdownHeaderTextSplitter的探索
      • 标准的markdown测试集
      • Langchain区分head1和head2
      • Langchain区分head1,head2,head3
      • Langchain-Chatchat测试结果
      • 分析Langchain-Chatchat的markdown文件加载
      • 为什么Langchain-Chatchat会丢失标题
    • 后记

背景

接上篇Langchain-Chatchat之pdf转markdown格式，pdf转markdown之后，使用官方的markdownHeaderTextSplitter分词器，创建完知识库之后进行问答，结果发现大模型无法正常返回，且日志报错如下：

  File "/home/jfli/anaconda3/envs/py3.11/lib/python3.11/site-packages/langchain_community/chat_models/openai.py", line 493, in _astreamif len(chunk["choices"]) == 0:^^^^^^^^^^^^^^^^^^^^^
TypeError: Caught exception: object of type 'NoneType' has no len()

markdownHeaderTextSplitter这个分词器和markdown格式不是天生一对吗？为什么会出现这种报错？

排查步骤

官方issue排查

  1. https://github.com/chatchat-space/Langchain-Chatchat/issues/2062
    1. 重新install dashscope 无效
    2. 升级fschat 无效
  2. https://github.com/chatchat-space/Langchain-Chatchat/issues/3727
    1. 官方回答说这种类型的回答都代表大模型输出内容不对导致的。
    2. 所以就是要确认大模型是可用的，确认知识库的搜索结果是否符合预期。

测试正常对话

正常对话没问题，且大模型回复自己是千问，说明大模型也正常加载使用。

测试官方默认知识库

测试sample知识库的问题，结果是可以正常回复。说明大模型对于知识库的问答是生效的状态。

Debug排查

vscode配置launch.json
{// 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。// 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387"version": "0.2.0","configurations": [{"name": "Langchain-Chatchat","type": "debugpy","request": "launch","program": "${workspaceFolder}/startup.py","args": ["-a"],"console": "integratedTerminal","python": "/home/xxx/anaconda3/envs/py3.11/bin/python"}]
}

命令行自动启动conda

因为环境依赖都在conda下，如果不配置自动开启conda的话，服务会因为缺少依赖起不来。

配置launch.json的参数中没办法设置conda环境。有一种使用方法是先定义个task.json，在launch.json中定义preLaunchTask制定先运行task.json，在task.json中启动conda环境。
参考：利用launch.json和tasks.json 文件进行vscode 调试以及自动编译_tasks.json make编译-CSDN博客
经验证，没有成功。
第二种方法是直接修改zshrc文件，在文件下面新增:

conda activate py3.11

这样每次打开新的终端都会自动启动conda环境，缺点就是每次启动py3.11环境，如果需要切换环境的话需要自己手动切换。

debug知识库搜索
  1. 初始化模型
    1. 实例化模型的时候，api地址对应的端口是20000image.png
  2. 查看知识库搜索结果
    1. 可以看到在向量库已经拿到数据了，根据向量返回的内容组装context,请求大模型出错。image.png
    2. 查看启动配置，发现model_worker已经正常启动了
2024-05-11 17:52:50 | INFO | model_worker | Register to controller
INFO:     Started server process [3818873]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:7861 (Press CTRL+C to quit)
  1. 为什么请求大模型是走的20000这个端口呢？而不是配置中的21012端口？
    1. langchain-chatchat中默认的openai 端口是20000，这个配置会作为api_base传递给ChatOpenAI类，最后组装langchain的LLMChain，发起大模型请求。
    2. 目前发现请求大模型的地址
http://127.0.0.1:20000/v1/chat/completions# 这个地址是初始化openai的时候，使用fastchat提供的fastapi路由，
# 文件在fastchat.serve.openai_api_server# qianwen 大模型实际部署的端口是21012,对不上,是否会是这个问题呢？
  1. 参考fastchat的文档：https://github.com/lm-sys/FastChat/blob/main/docs/openai_api.md
    1. http://127.0.0.1:20000是fastchat启动的restful的api地址，同时也要启动模型工作线程 fastchat.serve.model_worker
    2. 测试fastchat中是否可以调用本地的qianwen-14B的模型
# 查看当前启动的模型
curl "http://127.0.0.1:20000/v1/models"# 返回了qianwen-14B
{"object":"list","data":[
{"id":"Qwen1.5-14B-Chat","object":"model","created":1715421368,
"owned_by":"fastchat","root":"Qwen1.5-14B-Chat","parent":null,
"permission":[{"id":"modelperm-4dMH93oGAz7eFLMoAdKegr","object":"model_permission","created":1715421368,"allow_create_engine":false,"allow_sampling":true,"allow_logprobs":true,"allow_search_indices":true,"allow_view":true,"allow_fine_tuning":false,"organization":"*","group":null,"is_blocking":false}
]}]}# 查看启动的模型
curl -X POST "http://127.0.0.1:20001/list_models"
{"models":["Qwen1.5-14B-Chat"]}# 和模型交流
curl http://localhost:20000/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "Qwen1.5-14B-Chat","messages": [{"role": "user", "content": "Hello! What is your name?"}]}'# 模型回答{"id":"chatcmpl-3ySLAgNaGJUqXcbu39cAmf","object":"chat.completion","created":1715421533,"model":"Qwen1.5-14B-Chat","choices":[{"index":0,"message":{"role":"assistant","content":"Hello! My name is Assistant. I'm here to help you with any questions or tasks you need assistance with. How can I help you today?"},"finish_reason":"stop"}],"usage":{"prompt_tokens":25,"total_tokens":55,"completion_tokens":30}}

  3. 结论是访问20000端口请求大模型没问题，fastchat可以找到启动的大模型实例。20000端口是fastchat的controller地址，实际的大模型由model_worker启动。
  1. 错误堆栈追踪
    1. 追踪堆栈发现是调用langchain的langchain_core/language_models/chat_models.py，调用了_agenerate_with_cache函数，但并没有命中cache，走了617行
    2. 命中langchain_community/chat_models/openai.py的_agenerate函数
    3. 最终报错是在langchain_community/chat_models/openai.py的_astream函数，代码如下：
        async for chunk in await acompletion_with_retry(self, messages=message_dicts, run_manager=run_manager, **params):if not isinstance(chunk, dict):chunk = chunk.dict()if len(chunk["choices"]) == 0:continuechoice = chunk["choices"][0]# 错误代码
if len(chunk["choices"]) == 0:
  1. 拿到知识库返回的context，手动调用大模型查询试试？
    1. 知识库返回5w多个字符，不符合预期。
    2. 从返回内容上来看，充斥着大量的"##############" ,不符合我们的预期。使用MarkdownHeaderTextSplitter只是想保留标题，按照标题来分块，而不是污染原来的文档。
  2. 更改markdownHeaderTextSplitter的配置
    1. 默认的配置如下image.png
    2. 更改为只保留head1和head2看看
      1. 结果依然不行，文档含有大量的"##############",且分块只有2个。如果是textSplitter的话，分块有165个，比较正常。
      2. 猜测是markdownHeaderTextSplitter适合标准格式的markdown文件，我们这里把pdf转换成markdown并不标准，格式不统一。此时通过markdownHeaderTextSplitter分词识别到的head1和head2比较少，导致分块只有2个。
      3. langchain-chatchat中分词配置中的chunkSize和overlapSize对markdownHeaderTextSplitter不生效。如果markdown文件不标准的话，可能一个块有几w个字，会影响大模型的输出。
    3. 更改markdownHeaderTextSplitter的配置到head6
      1. 知识库分块明显多了，从2个块变成了35个块。
      2. 部分问答可以出来，部分问答依然返回错误。

测试更换ChineseRecursiveTextSplitter分词器
  1. 可以正常被搜索到，返回1216个字符
  2. 返回的内容依然是带有markdown格式的内容，保留了表格的关系
  3. 知识库查看数据可以正常分块，一共165个块。image.png

结论

pdf转markdown之后生成的markdown格式不够标准，这种情况下使用markdownHeadertextSplitter进行分词的效果不符合预期。
且因为配置文件中的chunkSize和overlapSize对markdownHeaderTextSplitter不生效，导致分块结果很差，一个块几万个字。
大模型是拿到知识库查询的结果，作为"context"传过去的，几万个字传给大模型，直接导致大模型推理时间过久且没有返回结果。

关于markdownHeaderTextSplitter的探索

标准的markdown测试集

# 查特查特团队
荣获AGI Playground Hackathon黑客松“生产力工具的新想象”赛道季军。
## 报道简介
2023年10月16日, Founder Park在近日结束的AGI Playground Hackathon黑客松比赛中，查特查特团队展现出色的实力，荣获了“生产力工具的新想象”赛道季军。本次比赛由Founder Park主办，并由智谱、Dify、Zilliz、声网、AWS云服务等企业协办。
## 获奖队员简介
+ 小明，A大学+ 负责Agent旅游助手的开发、场地协调以及团队住宿和行程的安排+ 在保证团队完赛上做出了主要贡献。作为队长，栋宇坚持自信，创新，沉着的精神，不断提出改进方案并抓紧落实，遇到相关问题积极请教老师，提高了团队开发效率。
# 你好啊
## 世界你好
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。
## 中国你好
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。
# 中午吃什么
## 世纪难题
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。
## 为什么选择吃什么这么难
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。
## 现在的年轻人到底需要什么？
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。
# 早睡早起
## 为什么晚睡
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。
## 晚睡的危害是什么
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。

Langchain区分head1和head2

image.png

Langchain区分head1,head2,head3

image.png
可以看到文档划分还是符合预期的。Langchain官方给出的测试demo没问题。

Langchain-Chatchat测试结果

更改markdown文件及分词器配置

  1. markdown文件包含一级，二级，三级标题
  2. 分词器只包含head1和head2

测试结果

  1. 依然只有一个文档
  2. 删除了md的分割标识符
  3. 保留了标题和内容的关系
  4. 没有保留标题的meta信息，不符合预期。
查特查特团队  
荣获AGI Playground Hackathon黑客松“生产力工具的新想象”赛道季军。  
报道简介  
2023年10月16日, Founder Park在近日结束的AGI Playground Hackathon黑客松比赛中，查特查特团队展现出色的实力，荣获了“生产力工具的新想象”赛道季军。本次比赛由Founder Park主办，并由智谱、Dify、Zilliz、声网、AWS云服务等企业协办。  
获奖队员简介  
小明，A大学  
负责Agent旅游助手的开发、场地协调以及团队住宿和行程的安排  
在保证团队完赛上做出了主要贡献。作为队长，栋宇坚持自信，创新，沉着的精神，不断提出改进方案并抓紧落实，遇到相关问题积极请教老师，提高了团队开发效率。  
你好啊  
世界你好  
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。  
中国你好  
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。  
杭州你好啊  
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。  
中午吃什么  
世纪难题  
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。  
为什么选择吃什么这么难  
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。    
年轻人要什么？  
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。  
早睡早起  
为什么晚睡  
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。  
为什么不早睡  
比赛吸引了120多支参赛团队，最终有36支队伍进入决赛，其中34支队伍成功完成了路演。

分析Langchain-Chatchat的markdown文件加载

  1. 测试发现langchain-chatchat加载markdown文件使用的是langchain的markdown document loader
  2. 测试结果如下image.png
  3. 也就是document loader的结果文件是没有markdown标识的，因此会导致进行markdownHeaderTextSplitter的时候，无法正确的按照标题来分割数据。
  4. document loader加上mode=“elements” 参数，发现可以区分标题了image.png
  5. 测试markdownHeaderTextSplitter的效果
    1. 如果加上mode=“elements” 参数的话，markdown_splitter.split_text(markdown_document[0].page_content)的返回image.png
    2. 如果不加 mode=“elements” 参数的话，结果是一整块image.png
    3. 添加mode="elements"并且使用循环去进行split_text ：
      1. image.png
      2. 这个结果也不是符合预期的，只有文档内容page_content，没有meta信息，也没有标题信息。

为什么Langchain-Chatchat会丢失标题

正如这篇文章所说: https://community.deeplearning.ai/t/loading-markdown-from-file-for-splitting/575875 langChain 中的 Markdown 加载器（UnstructedMarkdownLoader）删除了示例中分割文本所需的 Markdown 字符（例如：#、##、###）。所以按照标题分块是行不通的。

  1. 但是可以使用TextLoader来原样加载markdown文件，如下：image.png
  2. 结合markdownHeaderTextSplitter
    1. image.png
    2. 成功记录了标题信息，分块很成功！

后记

开源项目开箱即用是好事，但是直接拿来做产品还是欠佳的，怪不得大家最终都会走到自定义分词器的步骤，业务的需求千变万化，代码都掌握在自己手里才能以不变应万变啊。
就这样吧，还是挺有意思的。

end

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/840803.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

OSI七层模型和TCP/IP四层模型的区别

OSI七层模型和TCP/IP四层模型的区别

OSI七层模型 1.物理层（Physical Layer） 实现相邻节点之间比特流的透明传输，尽可能屏蔽传输介质带来的差异。典型设备：集线器（Hub）。 2.数据链路层（Data Link Layer） 将网络层传下来…
阅读更多...
字符串相似性匹配实际问题（一）

字符串相似性匹配实际问题（一）

背景：很多人都是直接说dp编辑距离，我只想说，凡事都是说起来容易，做起来难。 问题：现有一个Python函数similarity_function，用于计算字符串之间的相似性，可以直接使用该函数完成下面的算法： 给定一个字符串列表List，其中的元素都是字符串string，给定一个substring，求…
阅读更多...
Linux驱动（2）---Linux内核的组成

Linux驱动（2）---Linux内核的组成

1.Linux内核源码目录 arch包含和硬件体系相关结构相关源码，每个平台占用一个目录 block：块设备驱动程序I/O调度 crypto：常用加密和三列算法，还有一些压缩和CRC校验算法。 documentation:内核个部分的通用解释和注释.。 drive…
阅读更多...
gdb调试openjdk

gdb调试openjdk

参考Linux安装百度网盘-CSDN博客 在百度网盘官网下载Linux版本的安装包（deb格式）。 linux环境安装百度网盘: sudo dpkg -i baidunetdisk_linux_2.0.1.deb sudo apt-get -f install 在编译OpenJDK过程中，需要用到的软件如下： …
阅读更多...
01_尚硅谷JavaWeb最新版笔记

01_尚硅谷JavaWeb最新版笔记

尚硅谷JAVAWEB概述 课程概述 计划学习时间：1周以内
阅读更多...
【2024软考】史上最全！软考刷题+解析大合集（9万字全手工打，货真价实）

【2024软考】史上最全！软考刷题+解析大合集（9万字全手工打，货真价实）

计算机基础知识 1.中断向量表用来保存各个中断源的中断服务程序的入口地址。当外设发出中断请求信号（INTR）以后，由中断控制器（INTC）确定其中断号，并根据中断号查找中断向量表来取得其中断服务程序的入口地…
阅读更多...
Pytorch-03 数据集与数据加载器

Pytorch-03 数据集与数据加载器

在 PyTorch 中，数据集和数据加载器是用于有效加载和处理数据的重要组件，特别是在训练深度学习模型时。以下是关于 PyTorch 数据集和数据加载器的简要介绍以及示例代码： 数据集（Dataset）： 数据集是一个抽象…
阅读更多...
python --创建固定字符串长度,先进先出

python --创建固定字符串长度,先进先出

a 123def concatenate_within_limit(b, new_string):# 计算新字符串与a的长度之和a btotal_length len(a) len(new_string)# 如果长度超过1024，从前面删除足够的字符if total_length > 5:diff total_length - 5a a[diff:] new_string # 删除前diff个字符…
阅读更多...
第86天：代码审计-PHP项目TP框架安全写法1day利用0day分析

第86天：代码审计-PHP项目TP框架安全写法1day利用0day分析

案例一： 利用框架漏洞-TP3框架-SQL注入&Demo&YxtCMF 首先先查询thinkphp的版本 去寻找版本漏洞: Thinkphp3.2.3及以下版本漏洞整理_thinkphp3.2.3漏洞-CSDN博客 去查这个exp注入 这里的利用条件是必须有find方法，并且where后面的参数是数组 …
阅读更多...
java基础-JVM日志、参数、内存结构、垃圾回收器

java基础-JVM日志、参数、内存结构、垃圾回收器

一、基础基础 1.1 数据类型 Java的数据类型分为原始数据类型和引用数据类型。 原始数据类型又分为数字型和布尔型。 数字型又有byte、short、int、long、char、float、double。注意，在这里char被定义为整数型，并且在规范中明确定义：byte、…
阅读更多...
电赛一等奖！基于TMS320F2812的简易数字频率计

电赛一等奖！基于TMS320F2812的简易数字频率计

电赛一等奖！简易数字频率计设计（原理图、PCB、源码、分析报告） 这份文件是关于合肥工业大学电气与自动化工程学院的一个项目报告，题目为“基于TMS320F2812的简易数字频率计”。项目由方敏、侯其立、李苗、张巧云四位本科生完成&am…
阅读更多...
Redis 哨兵机制的工作原理——Java全栈知识（22）

Redis 哨兵机制的工作原理——Java全栈知识（22）

Redis 哨兵机制的工作原理 在之前的文章我们讲到了 Redis 的三种集群架构：跳转文章：Redis集群模式 接下来我们详细讲哨兵机制的作用以及实现原理 以下是 Redis 哨兵的结构图 1、Redis 哨兵的作用 哨兵的作用如下： 1、监控，2、…
阅读更多...
如何使用Python中的生成器

如何使用Python中的生成器

如何使用Python中的生成器 在Python中，生成器是一种特殊的迭代器，它允许你逐个地生成值，而不是一次性地计算并存储所有的值。这对于处理大量数据或者无限序列特别有用，因为它能够节省内存并提高效率。 生成器通常是通过以下两种…
阅读更多...
Java API使用避坑合集

Java API使用避坑合集

Java API使用避坑合集 总结常见的容易踩坑点记录下来以供参考 相当于避坑大杂烩、会涉及各种坑，持续更新… 1、数组转集合 Arrays.asList() 方法 Arrays.asList() 方法 返回的集合不支持修改操作，否则会抛异常 java.lang.UnsupportedOperationExcept…
阅读更多...
5月25日，每日信息差

5月25日，每日信息差

第一、博通推出 P1400GD 高速网卡：支持 400Gbps 网络、5nm 工艺，搭载 BCM57608 芯片，符合 IEEE P802.3bs 标准。这款网卡采用 5nm 制程技术，为 AI/ML、云、高性能计算提供支持，配备第六代增强型 NIC 架构、第四代 RoCE…
阅读更多...
【晚风摇叶之其他】抖音直播弹幕解析，连接websocket解析弹幕内容

【晚风摇叶之其他】抖音直播弹幕解析，连接websocket解析弹幕内容

目录 一.生成websocket的url 1.查看网络面板拿到url，分析url 2.分析url 1.获取room_id,user_unique_id 2.获取signature 3.拼接url 二.连接websocket解析弹幕内容 1.查找消息体序列化方式 2.编写proto对象信息 3.python连接websocket 问题1：cookie问题
阅读更多...
【ArcGIS微课1000例】0111：谷歌地球Google Earth下载安装与使用教程

【ArcGIS微课1000例】0111：谷歌地球Google Earth下载安装与使用教程

一、谷歌地球安装 双击安装包，默认点击完成即可。 二、谷歌地球使用 打开快捷方式，开始使用谷歌地球。欢迎界面： 软件主界面： 三、谷歌地球下载 软件安装包位于《ArcGIS微课实验1000例(附数据)专栏配套完数据包中的0111.rar中…
阅读更多...
海外投放面试手册

海外投放面试手册

海外投放面试手册 岗位职责： 负责Google 、Facebook、TikTok、Twitter等海外主流广告平台的自主投放操作及合作渠道沟通；负责海外合作渠道媒体的广告投放管理、媒体数据监测、效果分析、优化调整等工作； 3．了解海外各渠道&…
阅读更多...
开发一个游戏为什么需要3-4个月时间?

开发一个游戏为什么需要3-4个月时间?

开发一款游戏通常需要3-4个月的时间，这是因为游戏开发是一个复杂且多步骤的过程，涉及多个专业领域的合作。以下是对这一过程的详细解析： 游戏开发的第一步是概念和设计阶段。在这一阶段，开发团队需要确定游戏的核心理念、主题和玩…
阅读更多...
企业如何防止数据泄密？大型企业必备的文件加密软件

企业如何防止数据泄密？大型企业必备的文件加密软件

随着信息化建设的大步推进，越来越多的企业资料以电子文件的形式保存，企业内部和企业之间的信息交流也主要依靠电子文件。近年来的泄密事件层出不穷，比如东软泄密案、HTC窃密案、力拓案等，给企业带来灾难性的经济损失及信誉重创。如…
阅读更多...
最新文章

Copyright @ 2022~2023