参考：基于知识库和 LLM 的问答系统经验分享 - 知乎 (zhihu.com)

一、基于LLM的问答系统架构

比较常见的开源 LLM 的问答系统都会遵循下图这种结构去进行设计：

加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答。