构建向量存储

知识库examples是一个列表，列表元素是字典。与输入相关的文本放在from_text函数的第一个参数。embedding是嵌入模型，这部分如何使用本地模型，参考上一篇博客。metadatas是原始数据，也就是知识库。

to_vectorize = [" ".join(example.values()) for example in examples]
vectorstore = FAISS.from_texts(to_vectorize,embedding,metadatas=examples)

构建chat prompt的模版

首先要导入相关的库，ChatPromptTemplate和FewShotChatMessagePromptTemplate。
接着是选择器，选择器的构建在上一篇也有提到，这里采用的是语义相似度选择器，向量数据库是前一步构造的，k是返回的数量。
最后是构造chatprompt模版，人类输入是知识库中的对应的输入，ai输出是知识库对应的输出，字段要对应。
ChatPromptTemplate格式要正确。

from langchain_core.prompts import (ChatPromptTemplate,FewShotChatMessagePromptTemplate,
)example_selector = SemanticSimilarityExampleSelector(vectorstore=vectorstore,k=2,
)# Define the few-shot prompt.
few_shot_prompt = FewShotChatMessagePromptTemplate(# The input variables select the values to pass to the example_selectorinput_variables=["prompt"],example_selector=example_selector,# Define how each example will be formatted.# In this case, each example will become 2 messages:# 1 human, and 1 AIexample_prompt=ChatPromptTemplate.from_messages([("human", "{prompt}"), ("ai", "{response}")]),
)
# few_shot_prompt.format(prompt = "端口开放为80的资产")final_prompt = ChatPromptTemplate.from_messages([("system", system_prompt),few_shot_prompt,("human", "{prompt}"),]
)
final_prompt.format(prompt="test yourself")

加载本地Chat模型

使用HuggingFacePipeline来加载从Huggingface上下载的模型。

# 使用本地模型进行交互
from langchain_community.llms.huggingface_pipeline import HuggingFacePipeline
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline# 模型的id或者本地路径
model_id = "Qwen1.5-14B-Chat"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, max_new_tokens=10)
hf = HuggingFacePipeline(pipeline=pipe)

与模型交互

与模型交互是一种链式的形式，数据从前往后传递。

chain = final_prompt | hfquestion = "Love yourself!"print(chain.invoke({"prompt": question}))

参考

[1] langchain官方文档 https://python.langchain.com/v0.1/docs/modules/model_io/prompts/few_shot_examples_chat/
[2] langchain官方文档 https://python.langchain.com/v0.1/docs/integrations/llms/huggingface_pipelines/