使用AMD GPU和LangChain构建问答聊天机器人

Question-answering Chatbot with LangChain on an AMD GPU — ROCm Blogs

作者:Phillip Dang 2024年3月11日

LangChain是一个旨在利用语言模型强大功能来构建前沿应用程序的框架。通过将语言模型连接到各种上下文资源并基于给定的上下文提供推理能力,LangChain创建了能够智能推理和响应的上下文感知应用程序。在这篇博客中,我们演示了如何使用LangChain和Hugging Face来创建一个简单的问答聊天机器人。我们还展示了如何使用检索增强生成(RAG)技术来增强我们的大型语言模型(LLM)知识,然后允许我们的机器人根据指定文档中的信息来回答查询。

前提条件

要运行本文中的内容,你需要以下条件:

  • AMD GPUs: AMD Instinct GPU.

  • Linux: see the supported Linux distributions.

  • ROCm 6.0+

  • PyTorch

  • 或者,你可以启动一个包含以上设置的 Docker 容器,将 /YOUR/FOLDER 替换成你选择的目录,它将挂载到 Docker 根目录。下面是一个使用 ROCm 6.2 和 PyTorch 2.3 的示例:

    docker run -it --group-add=video --ipc=host --cap-add=SYS_PTRACE --security-opt seccomp=unconfined --device /dev/kfd --device=/dev/dri -v /YOUR/FOLDER:/root rocm/pytorch:rocm6.2_ubuntu22.04_py3.10_pytorch_release_2.3.0
    

为了检查你的硬件并确保系统识别你的 GPU,请运行:

! rocm-smi --showproductname

你的输出应该如下所示:

================= ROCm System Management Interface ================
========================= Product Info ============================
GPU[0] : Card series: Instinct MI210
GPU[0] : Card model: 0x0c34
GPU[0] : Card vendor: Advanced Micro Devices, Inc. [AMD/ATI]
GPU[0] : Card SKU: D67301
===================================================================
===================== End of ROCm SMI Log =========================

接下来,确保 PyTorch 检测到你的 GPU:

import torch
print(f"number of GPUs: {torch.cuda.device_count()}")
print([torch.cuda.get_device_name(i) for i in range(torch.cuda.device_count())])

你的输出应该如下所示:

number of GPUs: 1
['AMD Radeon Graphics']

要构建一个能够与文档聊天的聊天机器人,你将需要以下三个工具:

  • LangChain

  • 一个语言模型

  • 使用 Facebook AI 相似性搜索 (FAISS) 的 RAG

LangChain

LangChain 作为一个框架,用于创建由语言模型驱动的应用程序。它允许应用程序:

  • 通过将语言模型与上下文资源(如提示、示例或相关内容)链接来*拥抱上下文性*,以丰富其响应。

  • 依靠语言模型根据给定的上下文逻辑地推导答案,并决定采取适当的行动来*进行推理*。

要安装 LangChain,请运行 pip install langchain langchain-community

语言模型

在本博客中,我们使用Google Flan-T5-large作为我们的底层语言模型。

要安装我们的语言模型并与文档聊天,请运行以下代码:`pip install transformers sentence-transformers`。

带有 FAISS 的 RAG

尽管大规模语言模型(LLM)在各种领域都很智能,但它们的知识仅限于在训练完成时可供其使用的公共信息。如果我们希望模型考虑私有信息或训练后的数据,我们必须自己添加这些额外的信息。这个添加过程叫做RAG,而用于高效检索相关信息的工具是FAISS。

FAISS是一个用于高效相似性搜索和密集向量聚类的库。它广泛用于近邻搜索、相似性匹配以及在大型数据集中的其他相关操作。它帮助我们高效存储新的信息,并根据我们的查询检索最相关的信息块。

要安装FAISS,请运行`pip install faiss-cpu`。

Q&A 聊天机器人

首先,设置您的语言模型。您需要拥有一个Hugging Face API Token。

import os
from langchain import HuggingFaceHub, LLMChain
from langchain.prompts import PromptTemplateos.environ["HUGGINGFACEHUB_API_TOKEN"] = "your Huggingface API Token here"llm = HuggingFaceHub(repo_id="google/flan-t5-large",model_kwargs={'temperature':0.5,'max_length': 512})

一旦您有了您的模型,您可以通过 LangChain 的 LLMChain 来将各组件组合在一起。LLMChain 使用 PromptTemplate 来结构化用户输入,然后将这些输入发送给您的语言模型进行处理。这使得 LLMChain 成为生成连贯语言的有价值工具。

template = """Question: {question}
Answer: Let's think step by step."""prompt = PromptTemplate(template=template, input_variables=["question"])
llm_chain = LLMChain(prompt=prompt, llm=llm)

现在是有趣的部分——让我们向聊天机器人问几个问题:

输入:

question =  "What is the capital of Ecuador?"
llm_chain.run(question)

输出:

'Quito is the capital city of Ecuador. Quito is located in the north of the country. The answer: Quito.'

输入:

question =  "What is GTA? "
llm_chain.run(question)

输出:

'GTA is an abbreviation for Grand Theft Auto. GTA is a video game series. The answer: video game series.'

输入:

question =  "What are some key advantages of LoRA for LLM?"
llm_chain.run(question)

输出:

'LoRA is a centralized repository for all LLM degree work. The LLM degree program at the University of
Michigan was the first to use LoRA for their degree program. The University of Michigan School of Law
is the first law school in the United States to use LoRA for their degree program.'

最后一个问题的答案是错误的。这可能是因为模型的训练数据中没有包含关于 LoRA 的信息。在下一部分中,我们将通过应用 RAG 技术来解决这个问题。

Q&A 聊天机器人使用 RAG 技术

根据前一节的内容,模型错误地回答了我们关于LoRA技术的问题——这可能是因为在模型训练时没有包含该信息。要解决这个问题,你可以使用RAG技术将信息包含到你的模型中。

RAG工作分为两个阶段:

  1. 检索阶段:给定一个查询(例如,一个临床问题),模型在大型数据库中搜索相关文档或片段。

  2. 生成阶段:模型使用检索到的信息生成响应,确保输出基于输入数据,在我们的例子中将是一个PDF。

要看到这点的实际效果,你需要创建两个函数,一个用于处理我们的输入数据(关于LoRA的PDF论文),另一个用于构建我们的知识数据库。

from langchain.vectorstores import FAISS
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import HuggingFaceEmbeddingsdef process_text(text):# 使用LangChain的CharacterTextSplitter将文本分割成片段text_splitter = CharacterTextSplitter(separator="\n", chunk_size=256, chunk_overlap=64, length_function=len)chunks = text_splitter.split_text(text)# 将文本片段转换为嵌入以形成知识库embeddings = HuggingFaceEmbeddings(model_name='sentence-transformers/all-mpnet-base-v2')knowledgeBase = FAISS.from_texts(chunks, embeddings)return knowledgeBase

import PyPDF2
import requests
from io import BytesIO# 阅读PDF论文
pdf_url = "https://arxiv.org/pdf/2106.09685.pdf" 
response = requests.get(pdf_url)
pdf_file = BytesIO(response.content)
pdf_reader = PyPDF2.PdfReader(pdf_file)def get_vectorstore():# 从pdf_reader构建向量存储text = ""# 变量text将存储pdf文本for page in pdf_reader.pages:text += page.extract_text()# 创建知识库对象db = process_text(text)return dbdb = get_vectorstore()

现在,通过加载LangChain的Q&A链,搜索知识数据库中最相关的信息,并查看聊天机器人是否能提供更准确的答案来将所有内容结合在一起:

from langchain.chains.question_answering import load_qa_chain
# 加载Q&A链
chain = load_qa_chain(llm, chain_type="stuff", prompt=)query = "what are some key advantages of LoRA for LLM?"
# 搜索数据库中相关的信息
docs = db.similarity_search(query=query)# 运行我们的链
chain.run(input_documents=docs, question=query)

输出:

'LORA makes training more efficient and lowers the hardware barrier to entry by up to 3 times when
using adaptive optimizers since we do not need to calculate the gradients or cantly fewer GPUs and
avoid I/O bottlenecks. Another benefit is that we can switch between tasks while deployed at a much
lower cost by only swapping the LoRA weights as opposed to all the'

在为我们的模型提供了额外的信息后,更新的答案显然更加相关,通过`input_documents=docs`参数可以实现这一点。
我们建议测试不同的LLM作为基础模型,并尝试用于不同用例的各种LLMChain。我们还鼓励实验不同的处理方法,并细分输入文档以提高相似性搜索的相关性。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/883757.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

20241027_北京郊游香山公园

这次是第二次去香山公园,天气不是很晴朗,有雾。 乘坐地铁到的时候,第一趟车,我这么聪明,那肯定是不会坐的,因为没有座位,路程30多分钟,我都20多岁了,身体那肯定顶不住。 …

【React】React18核心源码解读

前言 本文使用 React18.2.0 的源码,如果想回退到某一版本执行git checkout tags/v18.2.0即可。如果打开源码发现js文件报ts类型错误请看本人另一篇文章:VsCode查看React源码全是类型报错如何解决。 阅读源码的过程: 下载源码 观察 package…

亚信安全DeepSecurity中标知名寿险机构云主机安全项目

近日,亚信安全DeepSecurity成功中标国内知名寿险机构的云主机安全项目。亚信安全凭借在云主机安全防护领域的突出技术优势,结合安全运营的能力,以“实战化”为指导,为用户提供无惧威胁攻击、无忧安全运营的一站式云安全体系&#…

前端 eslint 配置,以及在git提交之前自动format

目录 1、配置eslint步骤 1、eslint安装配置步骤 2、配置scripts步骤 3、测试eslint 2、配置git-hook1、安装环境2、最终效果 众所周知,前端项目可以在报很多error的情况下运行。但是良好的代码规范仍然有利于项目的开发维护,这里提供我的规范&#xff0c…

Spring Boot实现的中小企业设备信息管理系统

2相关技术 2.1 MYSQL数据库 MySQL是一个真正的多用户、多线程SQL数据库服务器。 是基于SQL的客户/服务器模式的关系数据库管理系统,它的有点有有功能强大、使用简单、管理方便、安全可靠性高、运行速度快、多线程、跨平台性、完全网络化、稳定性等,非常…

vue使用阿里svg图标

最近开发项目的写前端时候,发现element的图标库不能满足我的需求,当然,大部分是够用的,不过某些特定按钮没有合适的图标,我是发现没有批量导入按钮的图标,所以找了阿里的适量图标库来使用 阿里矢量图标库 阿里矢量图…

【PythonWeb开发】Flask-RESTful参数解析

flask-restful中的reqparse.RequestParser是一个用于解析和验证参数的工具。它可以帮助开发者从请求中提取参数,并确保这些参数符合预期的格式和类型。参数解析的意思就是规范化传入的参数并获取到这些参数。 一、什么是 reqparse.RequestParser? reqpa…

深入了解 kotlinx-datetime:配置与使用指南

深入了解 kotlinx-datetime:配置与使用指南 在Kotlin多平台开发中,处理日期和时间是常见的需求。kotlinx-datetime库提供了强大且简洁的API来帮助开发者应对这一挑战。本文将详细介绍如何配置kotlinx-datetime库,并通过生动的示例演示其核心…

ventoy安装和使用

本文涉及一种快捷安装不同版本操作系统的工具的安装和使用。 背景 笔者以前安装系统,一般是先下载系统ISO镜像,使用UltraISO将镜像写入U盘,然后用U盘启动。 近年来着手国产化的适配工作,当然因故无法接触核对业务,主…

《Python游戏编程入门》注-第4章1

《Python游戏编程入门》的第4章是“用户输入:Bomb Cathcer游戏”,通过轮询键盘和鼠标设备状态实现Bomb Cathcer游戏。 1 Bomb Cathcer游戏介绍 “4.1 认识Bomb Cathcer游戏”内容介绍了Bomb Cathcer游戏的玩法,即通过鼠标来控制红色“挡板”…

Unity3D学习FPS游戏(5)武器瞄准和准星

前言:一个FPS游戏最基本的角色控制,在前面几篇已经基本实现,接下来我们将进入到武器篇。本篇将实现武器武器瞄准和准星。 武器瞄准和准星 武器瞄准思路实现效果 武器准星思路实现效果 补充知识协程线性插值 武器瞄准 思路 FPS游戏在准备开枪…

vue-echarts使用

vue-echarts使用 排名柱状图示例代码 汇总示例代码 平均时效示例代码 全图 排名柱状图 示例 代码 // 排名趋势<!-- 排名数据趋势图 --><div class"rank"><div class"rank_title"><div class"rank_title_left"><spa…

大语言模型及LangChain介绍

1. 大语言模型介绍 1.大语言模型总览 LangChain 是一个用于构建基于语言模型的应用程序的框架&#xff0c;特别是与大型语言模型&#xff08;LLMs&#xff09;交互的应用。它旨在简化和加速开发过程&#xff0c;使开发者能够更轻松地创建复杂的自然语言处理&#xff08;NLP&a…

【04】RabbitMQ的集群机制

1、RabbitMQ的性能监控 关于RabbitMQ的性能监控&#xff0c;在管理控制台中提供了非常丰富的展示。例如&#xff1a;首页这个整体监控页面&#xff0c;就展示了非常多详细的信息&#xff1a; 还包括消息的生产消费频率、关键组件的使用情况等等非常多的消息。都可以在这个管理…

GO语言实现AES-CFB加密

这里为了使用方便&#xff0c;实现代码不作为一个函数而是作为一个包&#xff0c;这样在后面的代码中也可以进行复用。包和导入 package encryptimport ("crypto/aes" // 提供 AES 加密算法实现"crypto/cipher" // 提供加密算法接口和模式&…

富格林:利用可信经验敢于追损

富格林指出&#xff0c;在解决因陷阱而导致的亏损问题时&#xff0c;投资者自己首先要具备可信经验以及敢于追损的决心。客观来说&#xff0c;当今贵金属投资行业中的陷阱并不复杂&#xff0c;多半是通过一些伪装和噱头来实现亏损陷阱的布置。富格林将分享以下可信投资经验加强…

Segugio:一款针对恶意软件的进程执行跟踪与安全分析工具

关于Segugio Segugio是一款功能强大的恶意软件安全分析工具&#xff0c;该工具允许我们轻松分析恶意软件执行的关键步骤&#xff0c;并对其进行跟踪分析和安全审计。 Segugio允许执行和跟踪恶意软件感染过程中的关键步骤&#xff0c;其中包括从点击第一阶段到提取恶意软件的最…

Web框架 --- C#中的ActionFilter

Web框架 --- C#中的ActionFilter 什么是Action Filter如何定义Action Filter如何使用ActionFilter 什么是Action Filter Action Filter 是一种用于在执行controller方法之前或之后执行自定义逻辑的机制。>* Action Filter 可以用来处理各种任务&#xff0c;包括但 不限于 日…

基于神经网络的农业病虫害损失预测

基于神经网络的农业病虫害损失预测 【摘 要】鉴于农业病虫害经济损失的预测具有较强的复杂性和非线性特性&#xff0c;设计了一种新型的GRNN预测模型&#xff0c;对农业病虫害经济损失进行预测。该模型基于人工神经网络捕捉非线性变化独特的优越性&#xff0c;在神经网络技术和…

DevCon,我们来了|DAOBase 线下活动(曼谷站)

随着数字化转型的加速&#xff0c;链上经济走在了前沿&#xff0c;为个人和社区赋能。链上金融可以无缝释放更多资金流&#xff0c;用户的链上身份拥有数据控制权&#xff0c;链上游戏能创造身临其境的新体验&#xff0c;许多团队正在打造 Web3 的未来。 本次活动将聚焦在开创…