基于LLama3、Langchain,Chroma 构建RAG

概要：

使用Llama3 Langchain和ChromaDB创建一个检索增强生成（RAG）系统。这将允许我们询问有关我们的文档（未包含在训练数据中）的问题，而无需对大型语言模型（LLM）进行微调。在使用RAG时，首先要做一个检索步骤，从一个特殊的数据库中提取任何相关的文档，本文使用的是《欧盟人工智能法案》文本。

LLAMA3

Meta Llama 3是Meta股份有限公司开发的一系列模型，是最先进的新型模型，有8B和70B参数大小（预先训练或指导调整）。Llama3模型是用15T+（超过15万亿）tokens和800亿至700亿参数进行预训练和微调的，这使其成为强大的开源模型之一。这是对Llama2模型的高度改进。

结构

Meta Llama 3使用的token结构

  • <|begin_of_text|>：这相当于BOS令牌
  • <|eot_id|>：这表示消息依次结束。
  • <|start_header_id|>｛role｝<|end_header_id |>：这些标记包含特定消息的角色。可能的角色可以是：系统、用户、助理。
  • <|end_of_text|>：这相当于EOS令牌。生成此代币后，Llama 3将停止生成更多代币。
    提示应包含单个系统消息，可以包含多个交替的用户和助手消息，并且始终以最后一条用户消息结尾，后跟助手标头。

结构样式

<|begin_of_text|>{{ user_message }}

Llama 3 的对话格式

在这里插入图片描述

  1. List item指定提示的开始
  2. 指定消息的角色，即“用户”
  3. 输入消息（来自“用户”）
  4. 指定输入消息的结尾
  5. 指定消息的角色，即“助理”

LLaMA模型的特点包括：

规模和效率：LLaMA模型设计为在保持较小模型尺寸的同时，实现与更大模型相似的性能。

多任务学习：这些模型通常在多种语言和任务上进行训练，以提高它们的通用性和跨领域的表现。

自注意力机制：LLaMA模型使用自注意力（self-attention）机制来处理长距离的依赖关系，这是现代大型语言模型的一个关键技术。

预训练和微调：它们通常首先在大量文本数据上进行预训练，然后针对特定任务进行微调。

可扩展性：设计时考虑到了模型的可扩展性，使其能够通过增加参数数量来提升性能。

研究和开源：Meta可能会将这些模型用于研究目的，并且可能会开源部分或全部模型，以便学术界和工业界可以使用和进一步研究。

RAG

大型语言模型（LLM）已经证明了它们理解上下文并在提示时为各种NLP任务提供准确答案的能力，包括摘要、问答。虽然他们能够很好地回答有关他们所接受训练的信息的问题，但当话题是关于他们“不知道”的信息时，即没有包括在他们的训练数据中时，他们往往会产生幻觉。检索增强生成将外部资源与LLM相结合。因此，RAG的主要两个组成部分是检索器和生成器。

代码实现

加载依赖

import sys #sys模块提供了与Python解释器和操作系统底层进行交互的功能。
from torch import cuda, bfloat16
import torch
import transformers
from transformers import AutoTokenizer
from time import time
#import chromadb
#from chromadb.config import Settings
from langchain.llms import HuggingFacePipeline #huggingface 管道
from langchain.document_loaders import PyPDFLoader #python 加载
from langchain.text_splitter import RecursiveCharacterTextSplitter #分词
from langchain.embeddings import HuggingFaceEmbeddings #矢量化
from langchain.chains import RetrievalQA #构建对话系统
from langchain.vectorstores import Chroma #Chroma 向量数据库

加载模型

#加载本地模型
model_id = 'D:\临时模型\Meta-Llama-3-8B-Instruct'
#设定使用cpu 还是gpu
device = f'cuda:{cuda.current_device()}' if cuda.is_available() else 'cpu'# 设置量化配置以加载GPU内存较少的大型模型
# 这需要“bitsandbytes”库
# 模型量化
bnb_config = transformers.BitsAndBytesConfig(load_in_4bit=True, # 指定以 4 位精度加载模型bnb_4bit_quant_type='nf4', # 选择使用 NF4（Normal Float 4）数据类型bnb_4bit_use_double_quant=True,# 启用嵌套量化bnb_4bit_compute_dtype=bfloat16 #更改计算期间将使用的数据类型 16位浮点数据类型
)print(device)

模型实例化

time_start = time()#AutoConfig.from_pretrained 根据预训练模型的名称或路径创建配置对象 模型配置文件
model_config = transformers.AutoConfig.from_pretrained(model_id,#模型路径trust_remote_code=True,#默认情况下，trust_remote_code 设置为 True。这意味着使用 from_pretrained() 方法加载模型配置文件时，它将下载来自 Hugging Face 模型中心或其他在线资源的配置文件。max_new_tokens=1024 #新生成令牌的数量
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
# 设置 pad_token_id 为 eos_token_id 的值
#pad_token_id = tokenizer.eos_token_id #指定填充标记(pad_token)使用结束标记(eos_token)# AutoModelForCausalLM 加载自动模型因果语言模型
model = transformers.AutoModelForCausalLM.from_pretrained(model_id,#模型的名称或地址trust_remote_code=True,#信任的存储库设置为Trueconfig=model_config, #加载配置文件quantization_config=bnb_config,#加载模型量化device_map='auto',#使用cpu 或GPU
)time_end = time()
print(f"Prepare model, tokenizer: {round(time_end-time_start, 3)} sec.")

构建管道

time_start = time()
#构建管道
query_pipeline = transformers.pipeline("text-generation",#文本生成管道model=model,#模型加载tokenizer=tokenizer,#tokan加载torch_dtype=torch.float16,max_length=1024,#最大长度1024device_map="auto",)
time_end = time()
print(f"Prepare pipeline: {round(time_end-time_start, 3)} sec.")

测试没有RAG的回答

#在没有RAG的情况下进行测试
def test_model(tokenizer, pipeline, message):time_start = time()sequences = pipeline(message,#输入的提示do_sample=True,#模型将生成确定性的输出，即在给定输入的情况下，每次运行都会产生相同的结果top_k=10,#模型将只考虑概率最高的10个词汇 top_k通常与另一个参数top_p一起使用，top_p也用于控制生成过程中的随机性。top_p是累积概率阈值，它考虑了概率最高的词汇，直到累积概率达到或超过这个阈值。num_return_sequences=1,#对于给定的输入，生成模型将只产生一个输出序列。eos_token_id=tokenizer.eos_token_id,pad_token_id = tokenizer.eos_token_id,max_length=1000,)#这里输出需要足够大time_end = time()total_time = f"{round(time_end-time_start, 3)} sec."question = sequences[0]['generated_text'][:len(message)]answer = sequences[0]['generated_text'][len(message):]return f"Question: {question}\nAnswer: {answer}\nTotal time: {total_time}"

信息美化

#`Markdown` 类是 IPython 提供的一个工具，用于将字符串格式化为 Markdown 格式的文本。
#`display` 函数用于在 Notebook 中显示对象。它能够自动选择最合适的显示方式，
from IPython.display import display, Markdown#数据回复样式
def colorize_text(text):for word, color in zip(["Reasoning", "Question", "Answer", "Total time"], ["blue", "red", "green", "magenta"]):text = text.replace(f"{word}:", f"\n\n**<font color='{color}'>{word}:</font>**")return text

演示

#演示
response = test_model(tokenizer,query_pipeline,"Please explain what is EU AI Act.")
display(Markdown(colorize_text(response)))

这里只是部分回复的内容
在这里插入图片描述

#测试
response = test_model(tokenizer,query_pipeline,"In the context of EU AI Act, how is performed the testing of high-risk AI systems in real world conditions?")
display(Markdown(colorize_text(response)))

在这里插入图片描述

hugging face 管道构建

query_pipeline = transformers.pipeline("text-generation",#文本生成管道model=model,#模型加载tokenizer=tokenizer,#tokan加载torch_dtype=torch.float16,max_length=1024,#最大长度1024device_map="auto",eos_token_id=tokenizer.eos_token_id,pad_token_id = tokenizer.eos_token_id,
)#转换成 huggingface 的管道
llm = HuggingFacePipeline(pipeline=query_pipeline,# 再次检查是否一切正常
time_start = time()
question = "Please explain what EU AI Act is."
response = llm(prompt=question)
time_end = time()
total_time = f"{round(time_end-time_start, 3)} sec."
full_response =  f"Question: {question}\nAnswer: {response}\nTotal time: {total_time}"
display(Markdown(colorize_text(full_response)))                         )

返回
在这里插入图片描述

开始构建RAG

数据加载与切分

#数据加载
loader = PyPDFLoader("./aiact_final_draft.pdf")
documents = loader.load()#数据切分实例化
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=100)
#切分加载的数据
all_splits = text_splitter.split_documents(documents)model_name = "G:\hugging_fase_model2\all-mpnet-base-v2"#加载向量模型
model_kwargs = {"device": "cuda"}# 加载embedings 向量模型
try:embeddings = HuggingFaceEmbeddings(model_name=model_name, model_kwargs=model_kwargs)
except Exception as ex:print("Exception: ", ex)# 加载本地模型#local_model_path = r"G:\hugging_fase_model\all-MiniLM-L6-v2"#local_model_path =r'E:\hugging_face_embeding\bert-base-uncased'local_model_path ='all-MiniLM-L6-v2'print(f"Use alternative (local) model: {local_model_path}\n")embeddings = HuggingFaceEmbeddings(model_name=local_model_path, model_kwargs=model_kwargs)

all-mpnet-base-v2

all-mpnet-base-v2 是一个基于sentence-transformers库的预训练模型，它专门设计用于处理句子和段落级别的文本，并将其映射到一个768维的密集向量空间。这个模型可以用于多种自然语言处理任务，包括但不限于聚类（clustering）和语义搜索（semantic search）。

以下是关于all-mpnet-base-v2模型的一些关键点：

  • 向量空间映射：该模型将输入的文本（句子或段落）转换成一个768维的向量，这个向量能够捕捉文本的语义信息。

  • 使用简便：如果已经安装了sentence-transformers库，使用这个模型将变得非常简单。用户可以通过几行代码加载模型并生成文本的嵌入表示。

  • 预训练和微调：all-mpnet-base-v2模型基于microsoft/mpnet-base进行预训练，然后在超过10亿句子对的数据集上进行微调。

  • 自监督学习：在微调阶段，该模型使用对比学习目标，通过计算批次中可能的句子对之间的余弦相似度，并应用交叉熵损失来优化模型。

  • 训练细节：模型在TPU v3-8上训练了100,000步，使用1024的批量大小，序列长度限制为128个标记，采用AdamW优化器，学习率为2e-5，并应用了学习率预热。

  • 多任务应用：生成的向量可以用于信息检索、文本聚类或句子相似性任务，适用于商业应用、学术研究、语言理解和生成等多个领域。

  • 模型性能：all-mpnet-base-v2模型在多个自然语言处理任务中表现出色，包括语义相似度计算、实体关系抽取和文本分类等。

  • 资源消耗：相比于更高维度的模型，all-mpnet-base-v2生成的768维向量占用的存储空间更少，这使得它在资源有限的环境中更为实用。

all-MiniLM-L6-v2

all-MiniLM-L6-v2 是一个由sentence-transformers库提供的预训练模型，专门设计用于生成句子和段落的嵌入表示（embeddings）。这个模型能够将文本映射到一个384维的密集向量空间，这些向量可以用于多种下游任务，如聚类（clustering）、语义搜索（semantic search）等。

以下是关于all-MiniLM-L6-v2模型的一些关键特点：

  • 文本嵌入：模型接收句子或段落作为输入，并输出一个固定大小的向量，该向量捕捉了输入文本的语义信息。

  • 使用简便：如果已经安装了sentence-transformers库，使用这个模型将变得非常容易。用户可以通过简单的代码调用模型并生成文本的嵌入表示。

  • 预训练和微调：all-MiniLM-L6-v2模型基于MiniLM架构，并在超过10亿句子对的数据集上进行了微调。

  • 自监督学习：在微调阶段，该模型使用对比学习目标，通过计算批次中句子对的余弦相似度，并应用交叉熵损失来优化模型。

  • 向量空间映射：模型将句子映射到向量空间中，使得语义相似的句子在该空间中距离较近，这有助于执行语义搜索和相似性计算。

  • 多任务应用：生成的向量可以用于多种NLP任务，如信息检索、文本聚类或句子相似性评估等。

  • 环境要求：使用all-MiniLM-L6-v2模型需要有适当的Python环境和必要的库，如PyTorch和Transformers。

  • 资源消耗：相比于更高维度的模型，all-MiniLM-L6-v2生成的384维向量占用的存储空间更少，这使得它在资源有限的环境中更为实用。

  • 开源和社区支持：all-MiniLM-L6-v2模型是开源的，并且得到了活跃的社区支持，用户可以从Hugging Face模型库中轻松下载和使用。

向量搜索

#灌库
vectordb = Chroma.from_documents(documents=all_splits, embedding=embeddings, persist_directory="chroma_db")#矢量化搜索
#将一个查询向量检索器（retriever）集成到向量数据库中。
#将查询向量与数据库中的向量进行比较，以找到最相似的数据条目
retriever = vectordb.as_retriever()#构建对提问对话系统
qa = RetrievalQA.from_chain_type(llm=llm, #加载实例化模型#使用“stuff”链的优势在于能够综合利用多个文档中的信息，从而提高系统对问题的理解和回答的准确性。然而，它也可能导致信息的冗余和噪音，需要在实际应用中进行权衡和调整。chain_type="stuff", #`chain_type`参数指定用于组合检索到的文档的链的类型。使用stuff”链将检索到的文档连接在一起并将它们作为单个输入传递给LLMretriever=retriever, #加载检索的信息verbose=True,#`verbose是一个布尔标志，当设置为True时，它将导致RetrievalQA实例打印出有关其操作的其他信息。
)

测试

# 测试
def test_rag(qa, query):time_start = time()#用run 方法执行response = qa.run(query)time_end = time()#查看耗时total_time = f"{round(time_end-time_start, 3)} sec."full_response =  f"Question: {query}\nAnswer: {response}\nTotal time: {total_time}"#美化输出display(Markdown(colorize_text(full_response)))query = "How is performed the testing of high-risk AI systems in real world conditions?"
test_rag(qa, query)

在这里插入图片描述

query = "What are the operational obligations of notified bodies?"
test_rag(qa, query)

在这里插入图片描述

用相似性搜索方法来查找文档

#用相似性搜索方法来查找文档
docs = vectordb.similarity_search(query)
"""
# K=3用于指定返回的文档数量
docs = vectordb.similarity_search(question,k=3)
"""
print(f"Query: {query}")
print(f"Retrieved documents: {len(docs)}")
for doc in docs:doc_details = doc.to_json()['kwargs']print("Source: ", doc_details['metadata']['source'])print("Text: ", doc_details['page_content'], "\n")

在这里插入图片描述
以上是文本的全部内容，感谢阅读。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/6778.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

assert函数详解

assert函数详解

assert函数详解 1.函数概述2.assert函数一般用法3.assert函数的一些使用案例3.1判断大小3.2strlen函数的模拟实现3.3其它 4.注意 1.函数概述 评价一个表达式&#xff0c;当表达式错误时&#xff0c;输出一个诊断信息并且终止程序 assert是一个宏&#xff0c;在使用之前要调用库…
阅读更多...
[Meachines][Hard]Napper

[Meachines][Hard]Napper

Main $ nmap -p- -sC -sV 10.10.11.240 --min-rate 1000 $ curl http://10.10.11.240 $ gobuster dir -u "https://app.napper.htb" -w /usr/share/wordlists/seclists/Discovery/Web-Content/raft-small-words-lowercase.txt -k 博客 $ ffuf -c -w /usr/share/se…
阅读更多...
BUUCTF---misc---菜刀666

BUUCTF---misc---菜刀666

1、下载附件&#xff0c;在wireshark中分析 2、题目说是菜刀&#xff0c;联想到http协议的post方法 3、使用命令过滤 http.request.methodPOST 4、打开数据包&#xff0c;发现有个不一样 这里面有一大串的数据包 5、追踪http数据流&#xff0c;发现z2后面是一个jpg文件的文件…
阅读更多...
中仕公考：哪些情况不能考公务员？

中仕公考：哪些情况不能考公务员？

1.年龄不符合 主要分两类【一类是未成年人&#xff0c;另一类是超龄人员】 具体来讲:年龄一般为18周岁以上、35周岁以下 (2024国考标准是1987年10月至2005年10月期间出生&#xff09; 对于2024年应届硕士、博士研究生(非在职人员)放宽到40周岁以下(2024国考标准是1982年10月以后…
阅读更多...
GitHub Desktop安装与使用教程

GitHub Desktop安装与使用教程

GitHub Desktop 是GitHub公司推出的一款桌面应用程序&#xff0c;旨在帮助开发人员更轻松使用GitHub。它提供了一个直观的用户界面&#xff0c;允许用户通过图形化界面来执行常见的 Git 操作&#xff0c;如克隆仓库、创建分支、提交更改、合并代码等。 GitHub Desktop 的设计使…
阅读更多...
Spring - 7 ( 13000 字 Spring 入门级教程 )

Spring - 7 ( 13000 字 Spring 入门级教程 )

一&#xff1a;Spring Boot 日志 1.1 日志概述 日志对我们来说并不陌生&#xff0c;我们可以通过打印日志来发现和定位问题, 或者根据日志来分析程序的运行过程&#xff0c;但随着项目的复杂度提升, 我们对日志的打印也有了更高的需求, 而不仅仅是定位排查问题 比如有时需要…
阅读更多...
基于JSP的酒店客房管理系统（二）

基于JSP的酒店客房管理系统（二）

目录 第二章 相关技术介绍 2.1 Jsp的简介 2.2 sql server 2005 的简介 第三章 系统的分析与设计 3.1 系统需求分析 1&#xff0e;理解需求 2&#xff0e;需求分析 3.2开发及运行环境 3.3功能模块的设计 3.3.1 设计目标 3.3.2 客房管理系统前台的设计 3.3.3 操作员管…
阅读更多...
nginxconfig.io项目nginx可视化配置--搭建-视频

nginxconfig.io项目nginx可视化配置--搭建-视频

项目地址 https://github.com/digitalocean/nginxconfig.io搭建视频 nginxconfig.io搭建 nginxconfig.io搭建 展示效果 找到这个项目需要的docker镜像&#xff0c;有项目需要的node的版本 docker pull node:20-alpine运行这个node容器,在主机中挂载一个文件夹到容器中 主机&a…
阅读更多...
菜鸡学习netty源码（五）—— EventLoop

菜鸡学习netty源码（五）—— EventLoop

1.EventLoop的类关系图 2. EventExecutor /*** 返回自身的对象* Returns a reference to itself.*/OverrideEventExecutor next();/*** 获取所属的EventExecutorGroup* Return the {link EventExecutorGroup} which is the parent of this {link EventExecutor},*/EventExecuto…
阅读更多...
利用大语言模型（KIMI）构建智能产品的信息模型

利用大语言模型（KIMI）构建智能产品的信息模型

数字化的核心是数字化建模&#xff0c;为一个事物构建数字模型是一件非常繁杂和耗费人工的事情。利用大语言模型&#xff0c;能够轻松地生成设备的信息模型&#xff0c;我们的初步实验表明&#xff0c;只要提供足够的模板&#xff0c;就能够准确地生成设备的数字化模型。 我们尝…
阅读更多...
Pytorch 实现 GAN 对抗网络

Pytorch 实现 GAN 对抗网络

GAN 对抗网络 GAN&#xff08;Generative Adversarial Network&#xff09;对抗网络指的是神经网络中包括两个子网络&#xff0c;一个用于生成信息&#xff0c;一个用于验证信息。下面的例子是生成图片的对抗网络&#xff0c;一个网络用于生成图片&#xff0c;另一个网络用于验…
阅读更多...
[C++基础学习-06]----C++指针详解

[C++基础学习-06]----C++指针详解

前言 指针是一个存储变量地址的变量&#xff0c;可以用来访问内存中的数据。在C中&#xff0c;指针是一种非常有用的数据类型&#xff0c;可以帮助我们在程序中对内存进行操作和管理。 正文 01-指针简介 指针的基本概念如下&#xff1a; 声明指针&#xff1a;使用“*”符…
阅读更多...
[单片机课设]十字路口交通灯的设计

[单片机课设]十字路口交通灯的设计

题目要求&#xff1a; 模拟交通灯运行情况。南北绿灯亮30秒&#xff0c;南北黄灯亮3秒&#xff0c;东西红灯亮33秒&#xff1b;南北红灯亮33秒&#xff0c;东西绿灯亮30秒&#xff0c;东西黄灯亮3秒&#xff1b;要求数码管同步显示时间的倒计时&#xff0c;用定时器实现延时。…
阅读更多...
（HAL）STM32F103C8T6——内部flash模拟EEPROM

（HAL）STM32F103C8T6——内部flash模拟EEPROM

内部Flash大部分空间是用来存储烧录进单片机的程序代码&#xff0c;因此可以将非代码等无关区域用来存储数据。项目工程的代码量可以通过Keil uVision5软件底下框查看&#xff0c;如下图所示。一般只需参考代码量&#xff08;Code&#xff09;以及只读数据&#xff08;RO-data&…
阅读更多...
某盾BLACKBOX逆向关键点

某盾BLACKBOX逆向关键点

需要准备的东西&#xff1a; 1、原JS码 2、AST解混淆码 3、token(来源于JSON) 一、原JS码很好获取&#xff0c;每次页面刷新&#xff0c;混淆的代码都会变&#xff0c;这是正常&#xff0c;以下为部分代码 while (Qooo0) {switch (Qooo0) {case 110 14 - 55: {function O0…
阅读更多...
C++入门第二节--关键字、命名空间、输入输出

C++入门第二节--关键字、命名空间、输入输出

点赞关注不迷路&#xff01;本节涉及c入门关键字、命名空间、输入输出... 1. C关键字 C总计63个关键字&#xff0c;C语言32个关键字 asmdoifreturntrycontinueautodoubleinlineshorttypedefforbooldynamic_castintsignedtypeidpublicbreakelselongsizeoftypenamethrowcaseen…
阅读更多...
A Dexterous Hand-Arm Teleoperation System

A Dexterous Hand-Arm Teleoperation System

A Dexterous Hand-Arm Teleoperation System Based on Hand Pose Estimation and Active Vision解读 摘要1. 简介2.相关工作2.1 机器人遥操作2.2 主动视觉&#xff08;Active Vision&#xff09; 3. 硬件设置4. 基于视觉的机器人手部姿态估计4.1 Transteleop4.2 Dataset 5. 主动…
阅读更多...
升级OpenSSH版本(安装telnet远程管理主机)

升级OpenSSH版本(安装telnet远程管理主机)

一 OpenSSH是什么 OpenSSH 是 SSH &#xff08;Secure SHell&#xff09; 协议的免费开源实现。SSH协议族可以用来进行远程控制&#xff0c; 或在计算机之间传送文件。而实现此功能的传统方式&#xff0c;如telnet(终端仿真协议)、 rcp ftp、 rlogin、 rsh都是极为不安全的&…
阅读更多...
C++奇迹之旅：string类接口详解（上）

C++奇迹之旅：string类接口详解（上）

文章目录 &#x1f4dd;为什么学习string类&#xff1f;&#x1f309; C语言中的字符串&#x1f309;string考察 &#x1f320;标准库中的string类&#x1f309;string类的常用接口说明&#x1f320;string类对象的常见构造 &#x1f6a9;总结 &#x1f4dd;为什么学习string类…
阅读更多...
二维泊松方程（Neumann+Direchliet边界条件）有限元Matlab编程求解|程序源码+说明文本

二维泊松方程（Neumann+Direchliet边界条件）有限元Matlab编程求解|程序源码+说明文本

专栏导读 作者简介&#xff1a;工学博士&#xff0c;高级工程师&#xff0c;专注于工业软件算法研究本文已收录于专栏&#xff1a;《有限元编程从入门到精通》本专栏旨在提供 1.以案例的形式讲解各类有限元问题的程序实现&#xff0c;并提供所有案例完整源码&#xff1b;2.单元…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023