二、语言模型

文章目录

  • 1 语言模型
  • 2 语言模型评价指标:Perplexity
  • 3 基于神经网络的语言模型
    • 3.1 RNN
    • 3.2 LSTM
    • 3.3 GRU
  • 4 优化函数
  • 5 模型代码
  • 6 用途与评价

1 语言模型

语言模型的任务是判断一句话出现的概率(也就是说一句话是不是人说的),可以表示为:P(W)=P(w1,w2,...wn)P(W)=P(w_1,w_2,...w_n)P(W)=P(w1,w2,...wn)
使用链式法则求概率:
P(W)=P(w1,w2,...wn)=∏iP(wi∣w1,w2,...wi−1)P(W)=P(w_1,w_2,...w_n)=\prod_iP(w_i|w_1,w_2,...w_{i-1})P(W)=P(w1,w2,...wn)=iP(wiw1,w2,...wi1)

P(wi∣w1,w2,...wi−1)P(w_i|w_1,w_2,...w_{i-1})P(wiw1,w2,...wi1)计算复杂度非常高。
在马尔科夫假设中,一个词出现的概率只与前一个词相关,那么P(wi∣w1,w2,...wi−1)=P(wi∣wi−1)P(w_i|w_1,w_2,...w_{i-1})=P(w_i|w_{i-1})P(wiw1,w2,...wi1)=P(wiwi1)
也有n=2,是2元模型

2 语言模型评价指标:Perplexity

在这里插入图片描述
句子概率越大,Perplexity越低。也就是说Perplexity低的,语言模型好。

详细信息阅读博客:https://www.cnblogs.com/shona/p/10827339.html

3 基于神经网络的语言模型

模型学习任务是:根据当前词,猜测下一个词。
用神经网络学习到概率P。

3.1 RNN

在这里插入图片描述

梯度消失和梯度爆炸问题:
1 在反向传播过程中有连续相乘的操作
2 如果相乘的值大于1,那么就可能发生梯度爆炸。解决:截断
3 如果相乘的值小于1,那么就可能发生梯度消失。解决:使用Relu(x) = max(0,x)
还有距离远的信息不容易被RNN保留。

3.2 LSTM

在这里插入图片描述

忘记门
输入门
更新门
输出门

3.3 GRU

GRU是LSTM的改进,参数量更少。

4 优化函数

交叉熵损失函数

5 模型代码

class RNNModel(nn.Module):'''一个简单的循环神经网络'''def __init__(self, rnn_type, vocab_size, embedding_size, hidden_size, nlayers, dropout=0.5):''':param rnn_type: LSTM/GRU:param vocab_size: 词库大小:param embedding_size::param hidden_size::param nlayers: 纵向有多少层神经网络:param dropout:'''super(RNNModel, self).__init__()self.drop = nn.Dropout(dropout)self.embedding = nn.Embedding(vocab_size, embedding_size)if rnn_type in ['LSTM', 'GRU']:# getattr(nn, rnn_type) 相当于 nn.rnn_typeself.rnn = getattr(nn, rnn_type)(embedding_size, hidden_size, nlayers, dropout=dropout)else:try:nonlinearity = {'RNN_TANH': 'tanh', 'RNN_RELU': 'relu'}[rnn_type]except KeyError:raise ValueError("""An invalid option for `--model` was supplied,options are ['LSTM', 'GRU', 'RNN_TANH' or 'RNN_RELU']""")self.rnn = nn.RNN(embedding_size, hidden_size, nlayers, nonlinearity=nonlinearity, dropout=dropout)# 全连接层self.decoder = nn.Linear(hidden_size, vocab_size)self.init_weights()self.rnn_type = rnn_typeself.embedding_size = embedding_sizeself.hidden_size = hidden_sizeself.nlayers = nlayersdef init_weights(self):init_range = 0.1self.embedding.weight.data.uniform_(-init_range, init_range)self.decoder.bias.data.zero_()self.decoder.weight.data.uniform_(-init_range, init_range)def forward(self, input, hidden):'''一个神经网络:param input:一个序列的词,input.shape = seq_len*batch_size = 50*32:param hidden:hidden = (nlayers * 32 * hidden_size, nlayers * 32 * hidden_size):return:'''# hidden是个元组,输入有两个参数,一个是刚开始的隐藏层h的维度,一个是刚开始的用于记忆的c的维度,# 这两个层的维度一样,并且需要先初始化,hidden_size的维度和上面nhid的维度一样 =100,我理解这两个是同一个东西。??embed = self.drop(self.embedding(input))  # emb.shape=torch.Size([seq_len, batch_size, hidden_size]) # 输入数据的维度# 还有一种接参数的方式是:output, (hidden,c_state) = self.rnn(embed, hidden)output, hidden = self.rnn(embed, hidden)  # output.shape = seq_len * batch_size * hidden_size # 最终输出数据的维度# hidden = (h层维度:nlayers * batch_size * hidden_size, c层维度:nlayers * batch_size * hidden_size)output = self.drop(output)# output最后的输出层一定要是二维的,只是为了能进行全连接层的运算。# 所以把前两个维度拼接在一起:(seq_len * batch_size) * hidden_sizedecoded = self.decoder(output.view(output.size(0) * output.size(1), output.size(2)))  # (seq_len * batch_size) * vocab_size# 我们需要知道每个位置预测的下一个单词是哪个,pred形状:seq_len * batch_size * vocab_sizepred = decoded.view(output.size(0), output.size(1), decoded.size(1))return pred, hiddendef init_hidden(self, bsz, requires_grad=True):# 初始化隐藏的参数weight = next(self.parameters())if self.rnn_type == 'LSTM':return (weight.new_zeros((self.nlayers, bsz, self.hidden_size), requires_grad=requires_grad),weight.new_zeros((self.nlayers, bsz, self.hidden_size), requires_grad=requires_grad))else:return weight.new_zeros((self.nlayers, bsz, self.hidden_size), requires_grad=requires_grad)# GRU 神经网络把h层和c层合并了,所以这里只有一个参数

6 用途与评价

评价语言模型一个是使用perplexity指标。另外一个是使用模型生成一段文本,看下通畅度。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/424037.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

spring mvc学习(37):JavaEE-JSP基础-EL表达式和JSTL标签库(Taglibs)

EL表达式和JSTL标签库: 在JSP页面代替java代码,便于编写 一.EL表达式 作用: ${} 简化脚本表达式 <% %> j2ee1.4以前版本需指定<% page isELIgnored"false"> j2ee1.4以后版本默认支持EL表达式 1.EL内置对象 EL内置11个对象,不需定义可直接使用 pageS…

[计划]二〇〇七年年度计划

2007年终于到了&#xff0c;同时也是我们该规划这一年的时候了。不虚度此生&#xff0c;就从现在开始&#xff01; 完成去年计划中的研究生入学考试&#xff1b; 完善目前的"智能英语单词学习"项目&#xff1b; 完成"博客管理系统"项目&#xff1b; 完成&…

DM入门之Apriori小结

Apriori算法&#xff1a;使用候选项找频繁项集Apriori算法是关联分析中一种基本算法&#xff0c;用于挖掘布尔关联规则频繁项集。原理&#xff1a;利用频繁项集的先验知识&#xff0c;使用逐层搜索的迭代方法&#xff0c;使用k项集探索(k1)项集。这里先看哈二维Apriori算法。&a…

三、自然语言分类

文章目录1 数据准备1.1 数据集拆分1.2 创建词库vocabulary1.3 batch数据&#xff0c;创建Iterator2 Word Averaging模型3 RNN模型4 CNN三种分类方式&#xff1a;Word Averaging模型、RNN、CNN。1 数据准备 第一步是准备数据。代码中用到的类库有spacy、torchtext。 torchtext中…

spring mvc学习(38):Unknow tag(c:forEach)错误解决办法,jstl.jar包以及standard.jar包下载与导入

解决问题步骤&#xff1a; ①&#xff1a;下载jstl.jar和standard.jar 点击下载jstl.jar 点击下载standard.jar ②&#xff1a;将两个包剪切到项目中的WEB-INF/lib文件夹内 右键加到eclipse环境中---bulidpath--add to path 第一行代码<% pagelanguage"java" im…

Flex【原创】Xml与Object互转/读写本地Xml文件

最近操作Xml文件比较多&#xff0c;因此封装了一下Xml文件操作类 主要功能包括&#xff1a; 1.Xml 转 Object 2.Object 转 Xml 3.读取本地Xml&#xff08;air&#xff09; 4.Xml写到本地&#xff08;air&#xff09; 代码如下&#xff1a; package {import flash.events.Eve…

处理SPS错误:只有在配置文件或 Page 指令中将启用会话状态设置为真时,才可以使用会话状态...

1、C:\Program Files\Common Files\Microsoft Shared\web server extensions\60\TEMPLATE\LAYOUTS目录里的 web.config文件里添加&#xff1a;<add name"Session" type"System.Web.SessionState.SessionStateModule"/> 加在<httpModules>里&am…

nlp中的经典深度学习模型(一)

文章目录1 DNN与词向量1.1 DNN1.2 skip-gram1.3 简单句子分类模型DAN2 RNNLSTMGRU2.1 RNN2.2 LSTM2.3 LSTM变种2.4 递归神经网络2.5 双向RNN2.6 堆叠RNN1 DNN与词向量 1.1 DNN 神经网络中每一个神经单元是一个线性变化加一个激活函数 sUTasU^TasUTa af(z)af(z)af(z) zWxbzWxb…

spring mvc学习(39):restful的crud实现删除方式

上图是目录结构&#xff0c;本节是有问同学的&#xff0c;当好好总结 pom.xml <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation"http://maven.apache.org/POM/4.0…

像程序员一样地思考

在成为程序员的道路上&#xff0c;要经历四个坎坷&#xff0c;让我们用四个境界来标明他们。 第一境界&#xff0c;就是前面所说的&#xff0c;掌握一门或则几门编程语言&#xff0c;会模仿例子来实现程序代码&#xff0c;并且让代码在计算机系统中运行起来。达到这个境界的人…

基于Hibernate+spring的公司网站打造中(二)

在JbossIDE上搭建hibernatespring 资源收集&#xff1a;一.下载JDK 地址&#xff1a;http://www.java.com/zh_CN/或者网上搜索 文件&#xff1a;jdk-1_5_0_07-windows-i586-p.exe 63.4M 二.下载JbossIDE2.1下载JBoss IDE for Eclipse 地址:http://mirror.in.th/sourceforg…

nlp中的经典深度学习模型(二)

attention和transformer都是面试重点。 文章目录3 seq2seqAttention3.1 Sequence to Sequence Model3.1.2 模型介绍3.1.2 模型训练3.2注意力机制3.2.1介绍3.2.1“Bahdanau” style attention3.2.2“Luong” style attention4 Transformer4.1 Multi-head Attention4.1.1 自注意力…

spring mvc学习(40):restful的crud实现增加方式

上图是目录结构&#xff0c;本节是有问同学的&#xff0c;当好好总结 pom.xml <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation"http://maven.apache.org/POM/4.0…

1:25万全国地形数据库说明(转)

总况1、数据库构成  全国1&#xff1a;25万数据库&#xff0c;是国家基础地理信息系统三个全国性空间数据库之一。它由地形数据库、数字高程模型&#xff08;DEM&#xff09;数据库、地名数据库三部分构成。地形数据库&#xff1a;以矢量方式存储管理1&#xff1a;25万地形图…

一个人也能精彩

今天听说一个兄弟说要在长沙买房了,很替他感到高兴的.也跟自己说,Pengc,你得加油了哦.下班后在公司玩了3个小时,到家快9点半了,不过最让人兴奋的莫过于成就感了,最近一直在弄xmlSchema的解析,感觉今天最有收获了.不过还得感谢老大Tiger,虽然他不知道我在这里感谢他&#xff0c;…

spring mvc学习(41):restful的crud的项目原型介绍

上图是目录结构&#xff0c;本节是有问同学的&#xff0c;当好好总结 pom.xml <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation"http://maven.apache.org/POM/4.0.…

nlp中的经典模型(三)

文章目录5 NLP中的卷积神经网络5.1 卷积5.2 多通道5.2 max pooling5 NLP中的卷积神经网络 RNN的问题&#xff1a; 1 时间复杂度高 2 最后一个向量包含所有信息。有点不可靠 CNN可以通过卷积核捕捉局部特征&#xff0c;那是不是可以用于句子&#xff0c;表示特定长度的词序列呢…

Android笔记-Activity相关+内存泄漏

看了下&#xff0c;上次学习android还是17年的事情&#xff0c;&#xff0c;&#xff0c;&#xff0c;两年过去了我现在终于来搞android了。。。 以下内容参考自&#xff1a;《Android从学习到产品》&#xff0c;《深入理解java虚拟机》&#xff0c;《操作系统之哲学原理》 先甩…

第一百二十九期:阿里内部员工,排查Java问题常用的工具单

平时的工作中经常碰到很多疑难问题的处理&#xff0c;在解决问题的同时&#xff0c;有一些工具起到了相当大的作用&#xff0c;在此书写下来&#xff0c;一是作为笔记&#xff0c;可以让自己后续忘记了可快速翻阅&#xff0c;二是分享&#xff0c;希望看到此文的同学们可以拿出…

再看机器翻译

前面有文章具体介绍了机器翻译用到的模型&#xff1a;seq2seq和加入attention机制。这里再说点别的。 1 机器翻译评价标准BLUE 参考文章介绍的很详细。论文地址&#xff1a;url 2 模型背后的理论&#xff1a;密码学 例如从中文翻译成英文&#xff0c;可以将中文看做是加密了…