Chatbot开发三剑客:LLAMA、LangChain和Python

8161d811c119e8e6cc47eabd0a85df7c.jpeg

聊天机器人(Chatbot)开发是一项充满挑战的复杂任务,需要综合运用多种技术和工具。在这一领域中,LLAMA、LangChain和Python的联合形成了一个强大的组合,为Chatbot的设计和实现提供了卓越支持。

首先,LLAMA是一款强大的自然语言处理工具,具备先进的语义理解和对话管理功能。它有助于Chatbot更好地理解用户意图,并根据上下文进行智能响应。LLAMA的高度可定制性使得开发者可以根据实际需求灵活调整Chatbot的语言处理能力。

LangChain作为一个全栈语言技术平台,为Chatbot提供了丰富的开发资源。它整合了多种语言技术,包括语音识别、文本处理和机器翻译,为Chatbot的多模态交互提供全面支持。LangChain的强大功能使得开发者能够轻松构建复杂而灵活的Chatbot系统。

Python作为一种通用编程语言,是Chatbot开发的理想选择。其简洁而强大的语法使得开发过程更加高效,而丰富的第三方库和生态系统为Chatbot开发提供了广泛的工具和资源。Python的跨平台性也使得Chatbot能够在不同环境中运行,实现更广泛的应用。

Chatbot开发离不开大型语言模型(LLM),LLM是一种以其实现通用语言理解和生成能力而备受关注的语言模型。LLM通过使用大量数据在训练期间学习数十亿个参数,并在训练和运行过程中消耗大量计算资源来获得这些能力。

21a2d2d70764332b2814b5d0b722e1ed.jpeg

让我们使用Langchain、llama和Python构建一个简单的聊天机器人!

在这个简单的项目中,我想创建一个关于HIV/AIDS特定主题的聊天机器人。这意味着我们发送给聊天机器人的消息,聊天机器人将尝试根据主题和消息之间的关联进行回答。但在此之前,我们必须安装和下载一些必要的组件:

1、大型语言模型

我使用的是从Hugging Face下载的META AI的LLAMA 2。

2、Langchain

用于开发由语言模型驱动的应用程序的框架

pip install langchain

3、安装Llama-cpp-python

llama.cpp库的Python实现(我尝试使用最新的llama.cpp版本,但它不起作用,所以我建议使用0.1.78稳定版本,并确保安装了C++编译器)。

pip install llama-cpp-python==0.1.78

4、导入库

from langchain.prompts importPromptTemplate
from langchain.llms importLlamaCpp
from langchain.callbacks.manager importCallbackManager
from langchain.callbacks.streaming_stdout import(
StreamingStdOutCallbackHandler
)

PromptTemplate:负责创建PromptValue,这是一种根据用户输入组合动态值的对象。

llamacpp:Facebook的LLAMA模型的C/C++端口。

CallbackManager:处理来自LangChain的回调。

StreamingStdOutCallbackHandler:用于流式处理的回调处理程序。

代码

首先,我将为我的模型路径创建一个名为 “your_model_path”的变量,然后因为我只想限制主题为HIV/AIDS,所以我创建了一个名为 “chat_topic”的主题变量,并将其填充为 “HIV/AIDS”,显然你可以修改这个主题,如果你不想限制主题,可以删除 “chat_topic”并更改模板。之后,我将创建一个名为 “user_question”的变量,以接收用户输入,还有一个稍后将使用的模板。

your_model_path = "写入你的模型路径"
chat_topic = "hiv/aids"
user_question = str(input("输入你的问题:"))
template= """
请解释这个问题:“{question}”,主题是关于{topic}
"""

我将创建一个 PromptTemplate变量,该变量将使用我们之前创建的模板,并将其分配给 “prompt”变量,然后更改提示的格式并将其分配给 “final_prompt”变量。我们使用 “chat_topic”中的主题和我们之前初始化的 “user_question”中的问题。然后创建一个名为 “Callbackmanager”的变量,并将流处理程序分配给它。

prompt = PromptTemplate.from_template(template)
final_prompt = prompt.format(topic=chat_topic,question=user_question
)
CallbackManager= CallbackManager([StreamingStdOutCallbackHandler()])

之后,让我们创建模型。

llm = LlamaCpp(model_path=your_model_path,n_ctx=6000,n_gpu_layers=512,n_batch=30,callback_manager=CallbackManager,temperature=0.9,max_tokens=4095,n_parts=1,verbose=0
)

model_path:LLAMA模型的路径。 

n_ctx:令牌上下文窗口,模型在生成响应时可以接受的令牌数量。 

n_gpu_layers:要加载到gpu内存中的层数。 

n_batch:并行处理的令牌数。 

callback_manager:处理回调。 

temperature:用于抽样的温度,较高的温度将导致更具创意和想象力的文本,而较低的温度将导致更准确和实际的文本。 

max_tokens:生成的最大令牌数。 

n_parts:要将模型分割成的部分数。 

verbose:打印详细输出。

最后,调用模型并传递提示。

python "你的文件名.py"

要运行它,只需在cmd中键入上述命令。

演示

50e9c9a5ac7520cd490523417c7c7282.jpeg

eab2b7bbfd35cd0346d39bbc5bf06eff.jpeg

完整代码

from langchain.prompts importPromptTemplate
from langchain.llms importLlamaCpp
from langchain.callbacks.manager importCallbackManager
from langchain.callbacks.streaming_stdout import(
StreamingStdOutCallbackHandler
)
your_model_path = "write your model path"
chat_topic = "hiv/aids"
user_question = str(input("Enter your question : "))
template= """
Please explain this question : "{question}" the topic is about {topic}
"""
prompt = PromptTemplate.from_template(template)
final_prompt = prompt.format(topic=chat_topic,question=user_question
)
CallbackManager= CallbackManager([StreamingStdOutCallbackHandler()])
llm = LlamaCpp(model_path=your_model_path,n_ctx=6000,n_gpu_layers=512,n_batch=30,callback_manager=CallbackManager,temperature=0.9,max_tokens=4095,n_parts=1,verbose=0
)
llm(final_prompt)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/174076.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何往excel中写子表?

with pd.ExcelWriter("C:/last_date.xlsx") as writer:for i in range(0, 10):df pd.DataFrame()df.to_excel(writer, indexFalse, sheet_namestr(days[i 1]))

flutter布局详解及代码示例(下)

布局 基本布局 GridView(二维滚动列表):比ListView多了一个方向的数据填充。ListBody(滚动列表):相比ListView,没有回收复用,简单易用。Table(表格布局)&am…

OpenCV入门11——图像的分割与修复

文章目录 图像分割的基本概念实战-分水岭法(一)实战-分水岭法(二)GrabCut基本原理实战-GrabCut主体程序的实现实战-GrabCut鼠标事件的处理实战-调用GrabCut实现图像分割meanshift图像分割视频前后景分离其它对视频前后影分离的方法图像修复 图像分割是计算机视觉中的一个重要领…

Docker智驾开发环境搭建

文章目录 背景1. 什么是容器?2. 什么是Docker?2.1 Docker架构3. 为什么要使用Docker?3.1 Docker容器虚拟化的好处3.2 Docker在开发和运维中的优势4. Docker容器与传统虚拟化的区别4.1 区别4.2 Docker的优势5. Docker的核心概念6. Docker在嵌入式开发中的应用7. docker实践参…

deque容器结构学习笔记

1.结构图 2.deque对比vector和list deque双端队列,就像是list和vector的结合 vector: 优点:1.可以随机读取 2. 空间利用率高 缺点:1. 除了尾插尾删,其他插入删除效率比较低 2. 扩容效率低 list: 优点&…

好用的png图片打包plist工具,推荐使用pngPackerGUI_V2.0

png图片打包plist工具,手把手教你使用pngPackerGUI_V2.0此软件是在pngpacker_V1.1软件基础之后,开发的界面化操作软件,方便不太懂命令行的小白快捷上手使用。1.下载并解压缩软件,得到如下目录,双击打开 pngPackerGUI.e…

C#连接Redis

**第一步:nuget包——ServiceStack.Redis ** public RedisCache _iCache = new RedisCache(); public void test(){string tokenKey = "";Token authToken = _iCache.Get<Token>(tokenKey);if (authToken == null){authToken = new Token();authToken.SignT…

C++STL——string类详解及其模拟实现

CSTL——string类 1. STL简介 STL全称standard template libaray&#xff0c;译为标准模板库 需要注意&#xff0c;STL不是C的标准库&#xff0c;而是C标准库的重要组成部分STL是一个包含众多数据结构和算法的软件框架 下面展示STL的六大组件&#xff1a; 本章&#xff0c;我…

base64 前端显示 data:image/jpg;base64

在css里的写法&#xff1a; #est_switch {background: url(data:image/jpg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/4gIoSUNDX1BST0ZJTEUAAQEAAAIYAAAAAAQwAABtbnRyUkdCIFhZWiAAAAAAAAAAAAAAAABhY3NwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAQAA9tYAAQAAAADTLQAAAAAAAAAAAAAAAAAAAA…

Laravel JsonResponse数组获取

laravel 一个service 调用 另外一个service 返回的 JsonResponse 对象&#xff0c;需要转为数组 $serviceData (new UserService())->lists(); //$data 就是获取的array 数据 $data $serviceData->getData(true) //将数组类型 转为 JsonResponse response()->json(…

命令行执行Office的安装、卸载、升级

卸载Office 2016 ----------------------\\wdfs01\OfficeProPlus2016\setup.exe /uninstall proplus /config \\wdfs01\OfficeProPlus2016\config.xml 安装Office 365 -------------------- d:\Setup.exe /configure d:\config.xml 升级Office 365 -------------------- #升级时…

三季度营收持续上涨,高途终于“松了一口气”?

近日&#xff0c;高途发布2023年第三季度财报。财报数据显示&#xff0c;高途实现净收入7.89亿元&#xff0c;同比增长30.2%。 同时&#xff0c;高途还透露了对于“AI教育”的布局。AI的发展无疑会给高途更大的机遇和更多的期待。随着人工智能技术在公司产品和服务各环节的落地…

HTML5+CSS3+JS小实例:九宫格图片鼠标移入移出方向感知特效

实例:九宫格图片鼠标移入移出方向感知特效 技术栈:HTML+CSS+JS 效果: 源码: 【HTML】 <!DOCTYPE html> <html><head><meta http-equiv="content-type" content="text/html; charset=utf-8"><meta name="viewport&…

python树的孩子链存储结构

树的孩子链存储结构是一种树的存储方式&#xff0c;它使用孩子兄弟表示法来表示树的结构。在这种存储结构中&#xff0c;树的每个节点都有一个指向其第一个孩子的指针和一个指向其下一个兄弟的指针。这样&#xff0c;可以通过这些指针来表示树的层次结构和节点之间的关系。 具…

springframe工程导入

配置gradle工程 init.d 目录下新建init.gradle allprojects {repositories {mavenLocal()maven {allowInsecureProtocol trueurl https://maven.aliyun.com/nexus/content/repositories/central/}} } 报错Plugin [id: org.jetbrains.dokka, version: 0.10.1, apply: false] w…

ArkTS-页面跳转(router)

1. 导入router import router from ohos.router2. 跳转方式 2.1 router.pushUrl :跳转到应用内的指定页面 2.1.1 pushUrl(options: RouterOptions): Promise 参数名说明options跳转页面描述信息。 router.pushUrl({url: pages/home,params: {data1: message,data2: {data3…

Himall商城OrderApplication

目录 1 Himall商城OrderApplication 1.1 商家手动分配门店 1.1.1 /// 分配门店时更新商家、门店库存 1.1.2 /// 分配门店订单到新门店 1.1.3 /// 分配门店订单回到商家 1.1.4 /// 更新订单所属门店 1.2 /// 获取待评价订单数量 Himall商城OrderApplication

其利天下技术总监冯建武受邀出席“2023年电子工程师大会”并作主题演讲

2023年11月23日&#xff0c;由华秋电子发烧友主办的“2023年电子工程师大会暨第三届社区年度颁奖活动”在深圳新一代产业园成功举行。本次年度颁奖活动邀请了高校教授、企业高管、行业专家、资深电子工程师等共300多人出席。聚焦“电机驱动技术”、“开源硬件”、“OpenHarmony…

ChatGLM2-6B微调过程说明文档

参考文档&#xff1a; ChatGLM2-6B 微调(初体验) - 知乎 环境配置 下载anaconda&#xff0c;版本是Anaconda3-2023.03-0-Linux-x86_64.sh&#xff0c;其对应的python版本是3.10&#xff0c;试过3.7和3.11版本的在运行时都报错。 执行下面的命令安装anaconda sh Anaconda3-202…

Linux文件与路径

Linux文件与路径 1、文件结构 ​ Windows和Linux文件系统区别 ​ 在windows平台下&#xff0c;打开“此电脑”&#xff0c;我们可以看到盘符分区 ​ 每个驱动器都有自己的根目录结构&#xff0c;这样形成了多个树并列的情形 ​ 但是在 Linux 下&#xff0c;我们是看不到这些…