1.简单阶段描述

第一个阶段称为召回阶段，系统会根据用户的提问从文本库或知识库中检索相关的文本片段或知识点，利用传统的检索技术去召回可能的文档候选。
召回阶段的问答优化方案为：
1.优化 text_split 算法，使匹配出的结果作为上下文时能够提供更合理的推理/回答依据；
2.优化 embedding 模型，提升语义向量化的效果，使得语义匹配过程中能够匹配出最满足要求的文本段落作为上下文。
第二个阶段称之为阅读理解阶段，会利用大模型的阅读理解能力，从对应的候选文档里将答案抽取出来。

2.阶段展开描述

如下图所示，

2.1.第一阶段技术：加载文档-读取文档-文本分割(Text splitter)

2.1.1.加载读取文档：读取加载的文档内容，通常是将其转化为文本格式

2.1.1.1.基于文档解析工具的方法

2.1.1.1.1.pdf解析工具

可采用以下工具读取pdf文件数据，拟采用pdfplumber，可解析更全面pdf文件。

2.1.1.1.2.doc、docx解析工具

Python-dox：优点：能够解析docx格式文档；缺点：doc格式文档无法直接解析，需要进行转换为docx格式间接解析。

tika：Python Tika是一个基于Apache Tika的python库，可以解析各种格式的文档，如PDF、Microsoft Office、OpenOffice、XML、HTML、TXT等等。它提供了一种非常方便的方法来获取文档内容，包括元数据、正文、各种格式、图片、表格等等。（注意：需要依赖java环境）

2.1.1.1.3.图片型文档解析工具

Paddleocr，代码示例如下：

from paddleocr import PaddleOCR

ocr = PaddleOCR(use_angle_cls=True, lang=“ch”)
img_path = ‘example.jpg’
result = ocr.ocr(img_path,