【机器学习300问】121、RNN是如何生成文本的?

        当RNN模型训练好后,如何让他生成一个句子?其实就是一个RNN前向传播的过程。通常遵循以下的步骤。

(1)初始化

        文本生成可以什么都不给,让他生成一首诗。首先,你需要确定采样的起始点。这可以是一个特殊的开始标记<START>或者是一个随机选取的词汇索引作为第一个时间步的输入。如果是基于字符的模型,则可能从一个特殊字符或空格开始。

如果什么都不输入,那么a^{<0>}=0x^{<1>}=0

(2)前向传播

        将起始输入送入RNN模型,得到第一个时间步的隐藏状态。对于之后的每个时间步,使用上一时间步的隐藏状态和当前输入(上一时间步模型预测的词或字符的索引)来计算新的隐藏状态,并得到下一个词的概率分布。

第一个时间步得到的输出(吴恩达老师手写)
第一个时间步(吴恩达老师手写)

        模型会得到一个概率分布,在这个分布上采样以预测下一个token。通常会使用softmax函数输出每个可能token的概率。例如,有10000个token的词典,那么得到的就是每一个token的概率。

(3)采样

        根据当前时间步的词概率分布进行采样,以决定下一个词。贪婪采样为例,每一步都选择概率最高的词作为下一个词,也就是y^{<1>}

举例说明一下,比如我们的RNN模型在一个给定时间步产生了以下5个token及其对应概率

TokenProbability
the0.4
cat0.25
sat0.15
on0.1
mat0.1

        'the'具有最高的概率0.4。因此,根据贪婪采样策略,我们会选择'the'作为下一个词。 

(4)更新序列

        将采样出的token加入到输入序列的末端。如果模型使用固定长度的序列,则需要将序列的第一个token去掉,以确保长度保持不变。

(5)重复采样

        反复执行步骤2至步骤4,逐步生成新的tokens,将它们加入到序列中。继续这个过程直到达到句子结束标记或达到预定最大序列长度。

(6)终止采样

        设定一个终止条件,比如:达到预定的最大序列长度;遇到结束标记(如<EOS>);基于某种规则判断生成完成(如遇到句号、问号等)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/854662.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL-DDL(Data Definition Language)

078-对表结构进行增删改操作 增删改表结构DDL&#xff08;Data Definition Language&#xff09; 创建一个学生表 create table t_student( no bigint, name varchar(255), age int comment 年龄 );查看建表语句 show create table t_student;修改表名 alter table 表名 r…

关于scrapy模块中间件的简单理解

摘要 Scrapy爬虫模块是爬虫程序员使用最多的一个模块&#xff0c;它以快速&#xff0c;高层次等优势&#xff0c;深受爬虫工作者的喜爱&#xff0c;其中Scrapy的中间件功能也极其重要。中间件处于引擎和爬虫之间的钩子框架&#xff0c;允许开发者自定义处理请求和响应的过程。…

富格林:需知k线阻挠交易欺诈

富格林指出&#xff0c;尽管现货黄金的投资机会十分充足&#xff0c;但也并不代表能够轻松获得盈利。尤其是近段时间行情较多&#xff0c;做单的难度无疑也会有所提升&#xff0c;所以要想阻挠交易欺诈在黄金市场当中盈利&#xff0c;就得学会分析现货黄金K线图。下面富格林将总…

Linux网络 - HTTP协议

文章目录 前言一、HTTP协议1.urlurl特殊字符 requestrespond 总结 前言 上一章内容我们讲了在应用层制定了我们自己自定义的协议、序列化和反序列化。 协议的制定相对来讲还是比较麻烦的&#xff0c;不过既然应用层的协议制定是必要的&#xff0c;那么肯定已经有许多计算机大佬…

C++使用spdlog输出日志文件

参考博客&#xff1a; 日志记录库 spdlog 基础使用_spdlog 写日志-CSDN博客 GitHub - gabime/spdlog: Fast C logging library. 首先在github上下载spdlog源码&#xff0c;不想编译成库的话&#xff0c;可以直接使用源码&#xff0c;将include文件夹下的spdlog文件夹&#x…

网络:用2个IP地址描述一个连接

用2个IP地址描述一个连接。这是在阅读了《TCP/IP指南》后的感想&#xff0c;与工业标准不同&#xff0c;需注意区分。 如果一个IP地址有48位&#xff0c;则用96位描述一个连接 对于单播&#xff0c;是每个IP分别描述位置。位置包括&#xff1a;邮局编号主机编号&#xff0c;采用…

Qt 信号与槽机制概述

在 Qt 中&#xff0c;emit 是一个用于发射信号的关键字。它是 Qt 的信号与槽&#xff08;Signals and Slots&#xff09;机制的一部分&#xff0c;用于在某个条件满足时通知其他对象。发射信号是一种实现对象之间通信的方式&#xff0c;特别是在事件驱动编程模型中。 Qt 信号与…

示例:WPF中TreeView自定义TreeNode泛型绑定对象

一、目的&#xff1a;在开发中经常需要绑定TreeView&#xff0c;所以定义了一个泛型的TreeNode<T>用来方便绑定对象和复用 二、实现 public partial class TreeNodeBase<T> : SelectBindable<T>, ITreeNode{public TreeNodeBase(T t) : base(t){}private Obs…

MySQL常见的命令

MySQL常见的命令 查看数据库&#xff08;注意添加分号&#xff09; show databases;进入到某个库 use 库; 例如&#xff1a;进入test use test;显示表格 show tables;直接展示某个库里面的表 show tables from 库&#xff1b; 例如&#xff1a;展示mysql中的表格 show tabl…

前端三大件速成 05 javascript(2)字符串对象、数组对象、函数对象、BOM对象、DOM对象

文章目录 一、字符串对象1、创建字符串对象的两种方式2、字符串属性3、字符串的方法&#xff08;1&#xff09;编排方法&#xff08;2&#xff09;查询字符串索引&#xff08;3&#xff09;字符串切片&#xff08;4&#xff09;大小写转换&#xff08;5&#xff09;获取指定字符…

Python网络数据抓取(9):XPath

引言 XPath 是一种用于从 XML 文档中选取特定节点的查询语言。如果你对 XML 文档不太熟悉&#xff0c;XPath 可以帮你完成网页抓取的所有工作。 实战 XML&#xff0c;即扩展标记语言&#xff0c;它与 HTML&#xff0c;也就是我们熟知的超文本标记语言&#xff0c;有相似之处&am…

python脚本之解析命令参数

import requests import argparseprint(f"{__name__}:start")parser argparse.ArgumentParser(description使用方法) parser.add_argument(-p, --prefix, typestr, help域名) parser.add_argument(-t, --token, typestr, helptoken) parser.add_argument(-i, --queu…

pyqt 鼠绘椭圆 椭圆标注

目录 pyqt 椭圆标注 四个方向可以调整,调整时,另一端固定,只调整当前端,椭圆参数保存加载json pyqt 画椭圆中心点固定,调整是,两端一起调整。 pyqt 椭圆标注 四个方向可以调整,调整时,另一端固定,只调整当前端,椭圆参数保存加载json import sys import json from …

ClickHouse快速安装教程(MacOS)

文章目录 ClickHouse快速安装教程&#xff08;MacOS&#xff09;1.ClickHouse2.快速安装3.快速启动3.1.启动服务器3.2.启动客户端 4.使用案例1.配置文件2.启动CK服务3.创建数据库4.创建表5.插入数据6.查询数据 ClickHouse快速安装教程&#xff08;MacOS&#xff09; 1.ClickHo…

前端开发之HTTP协议

上一篇&#x1f449;: 前端开发之WebSocket通信 文章目录 1. HTTP 1.0 和 HTTP 1.1 之间有哪些区别1.连接方面&#xff1a;2.资源传输优化&#xff1a;3.缓存机制增强&#xff1a;4.主机头识别5.请求方法扩展 2.HTTP 1.1 和 HTTP 2.0 的区别1. 二进制分帧层&#xff1a;2.多路…

【UEditorPlus】后端配置项没有正常加载,上传插件不能正常使用

接上文【UEditorPlus】后端配置项没有正常加载&#xff0c;上传插件不能正常使用_ueditor ruoyi vue后端配置项没有正常加载,上传插件不能正常使用!-CSDN博客 成功解决图片、视频上传问题后&#xff0c;当服务部署在公网时&#xff0c;会存在大文件无法正常上传的问题。 出现…

makefile中连接使用-lssh2 连接命令提示找不到lssh2 解决

一&#xff1a; 第一种方式自己下载源码编译生成.so 库 安装libssh2之前需要先安装openssl&#xff0c;否则将导致libssh2无法安装 openssl 的下载地址: https://www.openssl.org/source/ libssh2下载地址&#xff1a; https://www.libssh2.org/download/ openssl 的下载…

C# range

基本概念索引范围前缀和后缀范围完整范围示例用法访问数组的子集使用范围进行迭代使用范围进行切片生成一个范围的整数序列步进范围使用范围表达式进行条件过滤 注意事项 在 C# 8.0 及以上版本中&#xff0c;引入了一种新的语法特性&#xff0c;称为“范围”&#xff08; ran…

电感的本质是什么

什么是电感&#xff1f; 电感器件一般是指螺线圈&#xff0c;由导线圈一圈靠一圈地绕在绝缘管上&#xff0c;绝缘管可以是空心的&#xff0c;也可以包含铁芯或磁粉芯。 为什么把’线’绕成’圈’就是电感&#xff1f; 电感的工作原理非常抽象&#xff0c;为了解释什么是电感…

Python写一个MES系统和ERP系统协同任务流程

在这个示例中&#xff0c;我将向您展示如何使用Python编写一个简单的MES&#xff08;制造执行系统&#xff09;和ERP&#xff08;企业资源规划系统&#xff09;协同任务流程。我们将通过一个简单的示例来展示这两个系统如何协同工作。 首先&#xff0c;我们需要了解MES和ERP系统…