RAG学习文档1：
https://paragshah.medium.com/unlock-the-power-of-your-knowledge-base-with-openai-gpt-apis-db9a1138cac4
RAG学习文档2: https://blog.demir.io/hands-on-with-rag-step-by-step-guide-to-integrating-retrieval-augmented-generation-in-llms-ac3cb075ab6f
词嵌入相关理论文档：https://openai.com/blog/introducing-text-and-code-embeddings； 对应论文https://arxiv.org/abs/2201.10005
openai升级版的词嵌入API文档：https://openai.com/blog/new-embedding-models-and-api-updates

RAG技术

RAG的检索阶段和生成阶段进行分别评价

茴香豆简介

茴香豆部署

环境配置

进入开发机后，从官方环境复制运行 InternLM 的基础环境，命名为 InternLM2_Huixiangdou，在命令行模式下运行：

studio-conda -o internlm-base -t InternLM2_Huixiangdou

复制完成后，在本地查看环境。

conda env list

结果如下所示。

运行 conda 命令，激活 InternLM2_Huixiangdou python 虚拟环境:

conda activate InternLM2_Huixiangdou

下载基础文件

# 创建模型文件夹
cd /root && mkdir models# 复制BCE模型
ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 /root/models/bce-embedding-base_v1
ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 /root/models/bce-reranker-base_v1# 复制大模型参数（下面的模型，根据作业进度和任务进行**选择一个**就行）
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b 

下载安装茴香豆

配环境的时候清华源崩了，换成阿里源

pip install --index-url https://mirrors.aliyun.com/pypi/simple/ protobuf==4.25.3 accelerate==0.28.0 aiohttp==3.9.3 auto-gptq==0.7.1 bcembedding==0.1.3 beautifulsoup4==4.8.2 einops==0.7.0 faiss-gpu==1.7.2 langchain==0.1.14 loguru==0.7.2 lxml_html_clean==0.1.0 openai==1.16.1 openpyxl==3.1.2 pandas==2.2.1 pydantic==2.6.4 pymupdf==1.24.1 python-docx==1.1.0 pytoml==0.1.21 readability-lxml==0.8.1 redis==5.0.3 requests==2.31.0 scikit-learn==1.4.1.post1 sentence_transformers==2.2.2 textract==1.6.5 tiktoken==0.6.0 transformers==4.39.3 transformers_stream_generator==0.0.5 unstructured==0.11.2## 因为 Intern Studio 不支持对系统文件的永久修改，在 Intern Studio 安装部署的同学不建议安装 Word 依赖，后续的操作和作业不会涉及 Word 解析。
## 想要自己尝试解析 Word 文件的同学，uncomment 掉下面这行，安装解析 .doc .docx 必需的依赖
# apt update && apt -y install python-dev python libxml2-dev libxslt1-dev antiword unrtf poppler-utils pstotext tesseract-ocr flac ffmpeg lame libmad0 libsox-fmt-mp3 sox libjpeg-dev swig libpulse-dev

从茴香豆官方仓库下载茴香豆。

cd /root
# 下载 repo
git clone https://github.com/internlm/huixiangdou && cd huixiangdou
git checkout 447c6f7e68a1657fce1c4f7c740ea1700bde0440
#茴香豆工具在 Intern Studio 开发机的安装工作结束。如果部署在自己的服务器上，参考上节课模型下载内容或本节 3.4 配置文件解析 部分内容下载模型文件。

使用茴香豆搭建RAG助手

修改配置文件

用已下载模型的路径替换 /root/huixiangdou/config.ini 文件中的默认模型，需要修改 3 处模型地址，分别是:

1. 命令行输入下面的命令，修改用于向量数据库和词嵌入的模型

sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' /root/huixiangdou/config.ini

- `sed -i` 表示直接修改文件内容，而不是输出到终端。

• 6s 表示要替换第6行的内容。
• # 用作分隔符，可以替代常用的 /，以避免与路径中的 / 冲突。
• .* 匹配任意字符，表示替换整行的内容。
• embedding_model_path = "/root/models/bce-embedding-base_v1" 是要替换的新内容，设置了用于向量数据库和词嵌入的模型路径。

这条命令的作用是将 /root/huixiangdou/config.ini 文件的第6行修改为 embedding_model_path = "/root/models/bce-embedding-base_v1"，设置了向量数据库和词嵌入使用的模型路径。

2. 用于检索的重排序模型

sed -i '7s#.*#reranker_model_path = "/root/models/bce-reranker-base_v1"#' /root/huixiangdou/config.ini

与第一条命令类似，这条命令将 /root/huixiangdou/config.ini 文件的第7行修改为 reranker_model_path = "/root/models/bce-reranker-base_v1"，设置了用于检索的重排序模型的路径。

3. 和本次选用的大模型

sed -i '29s#.*#local_llm_path = "/root/models/internlm2-chat-7b"#' /root/huixiangdou/config.ini

与前两条命令类似，这条命令将 /root/huixiangdou/config.ini 文件的第29行修改为 local_llm_path = "/root/models/internlm2-chat-7b"，设置了本次选用的大模型的路径。

现在config.ini中的地址信息都被更改了：

创建知识库

使用 InternLM 的 Huixiangdou 文档作为新增知识数据检索来源，在不重新训练的情况下，打造一个 Huixiangdou 技术问答助手。

首先，下载 Huixiangdou 语料：

cd /root/huixiangdou && mkdir repodirgit clone https://github.com/internlm/huixiangdou --depth=1 repodir/huixiangdou

提取知识库特征，创建向量数据库。数据库向量化的过程应用到了 LangChain 的相关模块，默认嵌入和重排序模型调用的网易 BCE 双语模型，如果没有在 config.ini 文件中指定本地模型路径，茴香豆将自动从 HuggingFace 拉取默认模型。

除了语料知识的向量数据库，茴香豆建立接受和拒答两个向量数据库，用来在检索的过程中更加精确的判断提问的相关性，这两个数据库的来源分别是：

• 接受问题列表，希望茴香豆助手回答的示例问题

  • 存储在 huixiangdou/resource/good_questions.json 中
    

• 拒绝问题列表，希望茴香豆助手拒答的示例问题

  • 存储在 huixiangdou/resource/bad_questions.json 中
  • 其中多为技术无关的主题或闲聊
  • 如：“nihui 是谁”, “具体在哪些位置进行修改？”, “你是谁？”, “1+1”
    
    运行下面的命令，增加茴香豆相关的问题到接受问题示例中：

cd /root/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.jsonecho '["mmpose中怎么调用mmyolo接口","mmpose实现姿态估计后怎么实现行为识别","mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth   现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作","在mmdetection中，如何同时加载两个数据集，两个dataloader","如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？","1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，","mmpose 测试 map 一直是 0 怎么办？","如何使用mmpose检测人体关键点？","我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注","如何生成openmmpose的c++推理脚本","mmpose","mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件","mmpose可以实现行为识别吗，如果要实现的话应该怎么做","我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了","mac m1从源码安装的mmpose是x86_64的","想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？","huixiangdou 是什么？","使用科研仪器需要注意什么？","huixiangdou 是什么？","茴香豆 是什么？","茴香豆 能部署到微信吗？","茴香豆 怎么应用到飞书","茴香豆 能部署到微信群吗？","茴香豆 怎么应用到飞书群","huixiangdou 能部署到微信吗？","huixiangdou 怎么应用到飞书","huixiangdou 能部署到微信群吗？","huixiangdou 怎么应用到飞书群","huixiangdou","茴香豆","茴香豆 有哪些应用场景","huixiangdou 有什么用","huixiangdou 的优势有哪些？","茴香豆 已经应用的场景","huixiangdou 已经应用的场景","huixiangdou 怎么安装","茴香豆 怎么安装","茴香豆 最新版本是什么","茴香豆 支持哪些大模型","茴香豆 支持哪些通讯软件","config.ini 文件怎么配置","remote_llm_model 可以填哪些模型?"
]' > /root/huixiangdou/resource/good_questions.json

再创建一个测试用的问询列表，用来测试拒答流程是否起效：

cd /root/huixiangdouecho '[
"huixiangdou 是什么？",
"你好，介绍下自己"
]' > ./test_queries.json

在确定好语料来源后，运行下面的命令，创建 RAG 检索过程中使用的向量数据库：

# 创建向量数据库存储目录
cd /root/huixiangdou && mkdir workdir # 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir
python3 -m huixiangdou.service.feature_store --sample ./test_queries.json

向量数据库的创建需要等待一小段时间，过程约占用 1.6G 显存。

完成后，Huixiangdou 相关的新增知识就以向量数据库的形式存储在 workdir 文件夹下。

检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词，在知识库中检索 top K 相似的 chunk，综合问题和检索到的 chunk 生成答案。
运行截图：

拒答流程测试中，第一个问题“huixiangdou是什么？”顺利的通过了测试，检索模块也搜寻到了相关的语料。

第二个问题，被拒答模块成功的拒绝了：
但是我在跟着文档走的时候遇到了一个问题，提示

断言语句 assert (len(context) <= context_max_length) 用于确保上下文的长度（len(context)）小于或等于允许的最大上下文长度（context_max_length）。如果条件不满足，就会引发 AssertionError。
我把retriver.py中的context_max_length变长了，之后可以实现和视频中一样的运行流程。

运行茴香豆知识助手

我们已经提取了知识库特征，并创建了对应的向量数据库。现在，让我们来测试一下效果：

命令行运行：

# 填入问题
sed -i '74s/.*/    queries = ["huixiangdou 是什么？", "茴香豆怎么部署到微信群", "今天天气怎么样？"]/' /root/huixiangdou/huixiangdou/main.py# 运行茴香豆
cd /root/huixiangdou/
python3 -m huixiangdou.main --standalone

RAG 技术的优势就是非参数化的模型调优，这里使用的仍然是基础模型 InternLM2-Chat-7B， 没有任何额外数据的训练。面对同样的问题，我们的茴香豆技术助理能够根据我们提供的数据库生成准确的答案。

1. 首先，通过命令 python3 -m huixiangdou.main --standalone 启动茴香豆程序。--standalone 参数表示以独立模式运行。

2. 程序开始加载各种模型和配置：

   • 加载了一些自然语言处理的模型，如 SentenceTransformer 和 BCEmbedding 的 RerankerModel。
   • 加载了一些配置文件，如 config.ini，其中包含了模型路径、数据路径和日志路径等设置。

3. 程序启动了一个 HTTP 服务，监听在 0.0.0.0:8888，等待客户端的请求。

4. 收到一个问题 “huixiangdou 是什么？”，程序开始处理（使用Prompt和internlm2-7b进行交互）：
   • 首先判断这是一个有主题的疑问句，得分（这里打分好像失败了，模型回复无法进行打分）。
   • 然后提取出问题的主题是 “huixiangdou 的含义或定义”。
   • 在知识库中搜索相关的材料，找到了 README.md 文件，判断问题和材料的相关度为8分。
   • 使用 InternLM2-chat-7b 模型根据材料生成了一个回答，解释了 HuixiangDou 的定义和特点。
   • 将问题、回答和相关材料返回给客户端。
     
     

最后，这是茴香豆返回的最终答案：

5. 收到另一个问题 “茴香豆怎么部署到微信群”，程序再次处理：
   • 判断这是一个得分为8分的疑问句，主题是 “茴香豆的微信部署”。
   • 在知识库中找到了相关的 README_zh.md 文件，问题和材料的相关度为8分。
   • 使用 InternLM2-chat-7b 模型根据材料生成了一个详细的部署步骤说明。
   • 将问题、回答和相关材料返回给客户端。
     
     

茴香豆返回的最终答案：

6. 收到第三个问题 “今天天气怎么样？”，程序判断这个问题与知识库无关，直接返回空答案。
   （这里判断主题相似度的prompt好像缺失了，直接就返回了空答案。）