使用 PyTorch 构建 NLP 聊天机器人

一、说明

        聊天机器人提供自动对话,可以帮助用户完成任务或寻求信息。随着深度学习的最新进展,聊天机器人正变得越来越具有对话性和实用性。这个全面的教程将利用 PyTorch 和 Python 从头开始构建聊天机器人,涵盖模型架构、数据准备、训练循环、评估和部署。

查看 JavaScript 中的自然语言处理 (NLP)(系列)

二、设置 Python 环境

我们首先需要一个环境来运行我们的聊天机器人代码。本指南使用 Python 3.8 和 PyTorch 1.12:

# Create conda env 
conda create -n chatbot python=3.8
conda activate chatbot
# Install PyTorch 
pip install torch==1.12.0+cpu torchvision==0.13.0+cpu torchaudio===0.12.0 -f https://download.pytorch.org/whl/torch_stable.html
# Check installs 
python -c "import torch; print(torch.__version__)"

这为我们提供了用于机器学习工作的最新 PyTorch 版本。

三、聊天机器人模型架构

模型架构定义了生成聊天机器人响应的数据流和计算。我们将使用基于 LSTM 的编码器-解码器架构,该架构通常用于序列到序列任务。

编码器将输入语句(例如,“天气预报是什么?”)映射到固定长度的矢量表示形式中。解码器将此表示映射到自然语言响应(例如,“今天天气晴朗,25摄氏度”)。

import torch
import torch.nn as nn
class EncoderLSTM(nn.Module):def __init__(self, input_size, hidden_size):super().__init__()  self.lstm = nn.LSTM(input_size, hidden_size)def forward(self, input):_, (hidden, cell) = self.lstm(input)  return hidden, cell
class DecoderLSTM(nn.Module): def __init__(self, input_size, hidden_size):super().__init__()self.lstm = nn.LSTM(input_size, hidden_size)def forward(self, input):outputs, _ = self.lstm(input)return outputs
class Seq2Seq(nn.Module):def __init__(self, encoder, decoder): super().__init__()self.encoder = encoderself.decoder = decoder

我们实例化编码器和解码器,并将它们组合成一个 Seq2Seq 模型。我们将对此进行端到端的训练。

四、准备训练数据

我们需要一个对话示例数据集来训练我们的模型。导入数据集后,我们将文本标记为整数序列:

Kaggle 托管对话语料库,如 Ubuntu 对话语料库、句子释义集合和每日对话数据集,它们提供 100k+ 对话交流。这些是免费下载和使用的。

data = load_dataset("daily_dialog")
def tokenize(text):return [vocab[token] for token in text.split(" ")] 
vocab = {"hello": 1, "what": 2, "is": 3, ...}
tokenized_data = data.map(tokenize)

我们可以将其拆分为训练集和验证集:

from sklearn.model_selection import train_test_split
train_data, val_data = train_test_split(tokenized_data)

五、训练循环

        准备好数据后,我们定义模型、损失准则和优化器,然后循环示例:

embed_size = 128
hidden_size = 512
model = Seq2Seq(encoder=EncoderLSTM(embed_size, hidden_size),decoder=DecoderLSTM(embed_size, hidden_size))
criterion = nn.NLLLoss()
optimizer = torch.optim.Adam(model.parameters())
for epoch in range(10):for input, target in train_data:output = model(input)  loss = criterion(output, target)loss.backward()  optimizer.step()optimizer.zero_grad()

        通过反复计算损失和反向传播,我们的模型学习了生成逻辑。

六、模型评估

        我们使用困惑度和 BLEU 分数等指标评估我们训练有素的聊天机器人的验证数据:

from transformers import GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
scores = evaluate(model, val_data, tokenizer)  
print(f"Perplexity score: {scores['perplexity']}")
print(f"BLEU score: {scores['bleu']}")

        这些度量检查模型生成的流畅性、合理性和准确性。

七、部署

        一旦我们有了一个高性能模型,我们就使用 FastAPI 将其打包到 API 中:

import fastapi
app = fastapi.FastAPI()
@app.post("/chat")
def chat(input: str):input = tokenize(input) output = model(input)return {"bot": output}

API 获取输入文本,将其馈送到我们的模型以生成机器人响应,并返回预测。

八、结论

        有了它,我们在 Python 中拥有了一个功能齐全的深度学习聊天机器人,可以响应消息并进行对话!我们学习了如何对模型进行排序,例如擅长文本数据的 LSTM,在 PyTorch 中训练聊天机器人模型,并了解如何优化、改进和部署我们的创作。

        还有很多事情可以做,比如添加个性化、链接 API 数据源以获取新鲜事实、集成翻译功能等等——聊天机器人的工作永远不会完成!我喜欢指导您完成本教程,并希望您能使用这些新技能来构建您的智能聊天应用程序。

九、常见问题解答

  • 为什么 PyTorch 更适合聊天机器人而不是 TensorFlow 或其他库?

我不会说它一定更好,但 PyTorch 的急切执行(动态计算而不是静态图)可以使迭代和调试更容易。所有主要框架都有其优势。选择你喜欢与之合作的人!

  • 我需要多少数据来训练一个好的聊天机器人?

没有硬性门槛,但一般来说,对话数据越多越好。数十万到数百万个对话示例对于生成类似人类的响应并非不切实际。利用预先训练的语言模型检查点也有帮助。

  • 需要什么样的硬件计算能力?我可以在本地或笔记本电脑上运行复杂的模型吗?

建议使用 GPU 加速,以获得除最基本原型之外的所有原型的良好性能。如果您没有认真的硬件,云服务提供 GPU 甚至量子加速训练!但要开始在本地进行试验,稍后再扩大规模。

  • 除了聊天机器人,我还可以使用 PyTorch 探索哪些其他 NLP 应用程序?

吨!文本分类、语义搜索、语法校正、预测类型、文档摘要、语言翻译......天空是无限的!PyTorch 拥有出色的文本支持和活跃的开发人员社区。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/668500.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AIGC技术讲解以及应用的落地

简介 近期,火爆的“AI绘画”、图片转AI图,智能聊天软件ChatGPT,引起了人们广泛关注。人工智能潜力再次被证明,而这三个概念均来自同一个领域:AIGC。AIGC到底是什么?为什么如此引人关注?AIGC能产…

Linux ---- Shell编程之免交互

一、Here Document 多行重定向 1、Here Document定义 使用I/O重定向的方式将命令列表提供给交互式程序标准输入的一种替代品Here Document 是标准输 入的一种替代品,可以帮助脚本开发人员不必使用临时文件来构建输入信息,而是直接就地生产出一个文件…

Java Lambda 表达式以及对 Lambda 表达式的简化

Java Lambda 表达式以及对 Lambda 表达式的简化 LambdaDemo.java package com.zhong.lambdademo;import java.util.Arrays; import java.util.Comparator;public class LambdaDemo {public static void main(String[] args) {Student[] student new Student[5];student[0] ne…

(15)求两个整数的平均值

文章目录 每日一言题目解题思路代码结语 每日一言 现在,我怕的并不是那艰苦严峻的生活,而是不能再学习和认识我迫切想了解的世界。对我来说,不学习,毋宁死。——罗蒙诺索夫 题目 输入两个整数m和n,写一个函数average…

createvm

New-VM -Name “new 5” -Generation 2 -BootDevice CD -NoVHD Set-VMDvdDrive -VMName TestVM -Path .\WinBuild.iso Set-VMFirmware “Test VM” -EnableSecureBoot Off Start-VM -Name TestVM debug-vm testuefiisov2 -InjectNonMaskableInterrupt -Force Write-Host $MyI…

GrayLog踩坑历险记

背景 GrayLog作为ELK的替代产品,是新生代的日志采集框架。在一个采集节点日志的需求中,因为节点很多,产生的日志也很多,因此尝试了使用GrayLog进行日志的采集。下面记录一下使用GrayLog中遇到的坑和解决方案。 一、部署与启动 …

论软件外包模式与企业信息化建设

企业信息化是企业在发展过程中的推进器,没有也可以勉强存活,但是谈不上加速。软件外包模式就是建造推进器的方法。软件外包模式大体分为以下几类: (1)购买现成的,在上面进行定制开发 代表用友,金蝶厂商&#x…

(十三)Java开发扩展之软件包与安装——JDK和MySQL

文章目录 1、RPM1.1、什么是RPM?1.2、RPM包的名称格式1.2.1、RPM查询命令1.2.2、RPM卸载命令1.2.3、RPM安装命令 2、YUM2.1、什么是YUM?2.2、yum安装程序命令 3、安装JDK4、安装MySQL 1、RPM 1.1、什么是RPM? RPM(RedHat Package Manager&a…

《学成在线》微服务实战项目实操笔记系列(P1~P49)【上】

《学成在线》项目实操笔记系列【上】,跟视频的每一P对应,全系列12万字,涵盖详细步骤与问题的解决方案。如果你操作到某一步卡壳,参考这篇,相信会带给你极大启发。同时也欢迎大家提问与讨论,我会尽力帮大家解…

阿里面试:Seata如何实现RC?保证事务的隔离性?

尼恩说在前面 在40岁老架构师 尼恩的读者交流群(50)中,最近有小伙伴拿到了一线互联网企业如阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试资格,遇到很多很重要的面试题: Seata 如何实现 RC ?保证事务的隔离性&#xff1…

使用sql创建数据库以及常用的sql简介

SQL简介 SQL(Structured Query Language)是一种用于管理关系数据库管理系统的标准编程语言。它用于执行各种操作,如查询、更新、插入和删除数据库中的数据。SQL是一种声明性语言,这意味着它指定了需要执行的操作,但不需…

docker进阶问题二

如何使用Docker的容器调试和故障排查工具? Docker提供了一系列工具和命令来帮助开发者调试和排查容器中的问题。以下是一些常用的调试和故障排查方法: 1. 容器日志 查看容器日志是最基本的调试手段。使用docker logs命令可以查看容器的标准输出&#…

Transformer实战-系列教程3:Vision Transformer 源码解读1

🚩🚩🚩Transformer实战-系列教程总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 Vision Transformer 源码解读1 Vision Transformer 源码解读2 Vision Transformer 源码解读3 Vis…

Vue 实现动态路由

Vue 实现动态路由 Vue中实现动态路由主要涉及到两个方面:一是路由的动态添加,二是基于路由的参数变化来动态渲染组件。这通常在使用Vue Router时进行配置和实现。以下是实现动态路由的一些基本步骤和概念: 安装和设置Vue Router npm insta…

kubesphere部署k8s-v1.23.10

功能: 🕸 部署 Kubernetes 集群 🔗 Kubernetes 多集群管理 🤖 Kubernetes DevOps 🔎 云原生可观测性 🧩 基于 Istio 的微服务治理 💻 应用商店 💡 Kubernetes 边缘节点管理 &#x1…

latex论文写作遇到的问题

图一: 图二: 图三: 使用模版的时候将图一转为图二:在.tex文件开头导言部分加上: \usepackage{titletoc} \titlecontents{section}[0pt]{\addvspace{1.5pt}\filright\bf}{\contentspush{第\thecontentslabel\ 章\qu…

2024.2.4 awd总结

防御阶段 感觉打了几次awd,前面阶段还算比较熟练 1.ssh连接 靶机登录 修改密码 [root8 ~]# passwd Changing password for user root. New password: Retype new password: 2.xftp连接 备份网站源码 我觉得这步还是非常重要的,万一后面被删站。。…

【幻兽帕鲁】如何快速部署私人服务器

看了许多关于如何部署服务器的,大部分都是要买阿里云或者腾讯云的服务器并且至少四核以上才能保证流畅运行。 但是对于想搭建私服但又没有技术的小白,确实是有点难度了。购买云服务器后还要配置服务器,配置OpenVPN、PalServer,doc…

解锁亚马逊测评防关联新技术:亚马逊鲲鹏系统

在亚马逊测评的过程中,一直以来都存在着一些技术难题,特别是在模拟买家行为时需要考虑诸多因素,包括关键词搜索、IP地址切换以及防关联等。然而,最新的技术突破,亚马逊鲲鹏系统正是为了解决这些问题而诞生的。 首先&am…

视频存储空间的计算:适用安防监控录像、视频会议录像、手机录像、短视频录像等场景

目 录 一、问题 二、计算方法 三、实例 1、需求 2、确定存储空间的计算方法 3、存储容量计算 一、问题 经常有客户、伙伴问我,视频监控中录像要多少个TB?要多少个硬盘?每次都要问问他们各种情况,是什么样的视…