nlp中的经典深度学习模型(一)

文章目录

  • 1 DNN与词向量
    • 1.1 DNN
    • 1.2 skip-gram
    • 1.3 简单句子分类模型DAN
  • 2 RNN+LSTM+GRU
    • 2.1 RNN
    • 2.2 LSTM
    • 2.3 LSTM变种
    • 2.4 递归神经网络
    • 2.5 双向RNN
    • 2.6 堆叠RNN

1 DNN与词向量

1.1 DNN

神经网络中每一个神经单元是一个线性变化加一个激活函数
s=UTas=U^Tas=UTa
a=f(z)a=f(z)a=f(z)
z=Wx+bz=Wx+bz=Wx+b
在这里插入图片描述

多层神经网络就是不断向前加。

1.2 skip-gram

通过中心词 预测周围词。
在这里插入图片描述
整体训练网络如上图。词表大小为N。
输入X是一个one-hot的表示形式。其形状是NxN。
第一层是一个线性变换 h= XxW (W是一个Nx100的一个矩阵),得到一个Nx100维的隐层矩阵。
最后在隐层上加一个线性变换: hxW’ 得到输出是这里(X周围的一个位置)应该是某个词的概率。W’是一个Nx100的矩阵。
对下游有用的是W,用做词向量表示。一般把W称作输入向量,W’称作输出向量。
(这里看到模型维度对不上,不能做矩阵乘法,可能有一个转置操作。)

1.3 简单句子分类模型DAN

使用词向量,判断两句话语义是否相近,可以使用的一种方法是:找出两句话中的词,分别找出每个词的词向量,对每个句子的词向量做平均,然后两个句子的向量计算点乘。如果值很低,说明语义相近。
在这里插入图片描述

可以给句子中的词向量做平均拿到平均值。经过2层神经网络,最后做softmax可以分类该句子的情感属性。

2 RNN+LSTM+GRU

2.1 RNN

在这里插入图片描述

RNN相当于是一个事情反复做了很多次。
在这里插入图片描述

每一时刻t 输入为h(t−1)h^{(t-1)}h(t1)x(t)x^{(t)}x(t)
h(t)=f(Wx(t)+Uh(t−1))h^{(t)}=f(Wx^{(t)}+Uh^{(t-1)})h(t)=f(Wx(t)+Uh(t1))
y(t)=softmax(Vh(t))y^{(t)}=softmax(Vh^{(t)})y(t)=softmax(Vh(t))
目标函数
在这里插入图片描述
在做求导过程中得到
在这里插入图片描述
BPTT

()部分的连乘,在值<1的时候,连续乘,会趋近于0,发生梯度消失。在值>1的时候,连续乘会变成一个值很大的数,会发生梯度爆炸。
这里的值与激活函数有关系。非线性激活函数的导数一般都<1。所以更容易发生梯度消失。
怎么解决呢?可以选择一部分单元不进行更新,不计算梯度。从而引出了LSTM模型。

2.2 LSTM

在这里插入图片描述

LSTM相比较于RNN多了一个C,平行于h的C。
在这里插入图片描述

ft=σ(Wf.[ht−1,xt]+bf)f_t=\sigma(W_f.[h_{t-1},x_t]+b_f)ft=σ(Wf.[ht1,xt]+bf)
注意[ht−1,xt][h_{t-1},x_t][ht1,xt]是两个向量拼接。WfW_fWf与拼接向量是点乘.Wf.[ht−1,xt]W_f.[h_{t-1},x_t]Wf.[ht1,xt]最后结果是一个n维的向量。ftf_tft就表示在n个维度,哪些应该被遗忘。

it=σ(Wi.[ht−1,xt]+bi)i_t=\sigma(W_i.[h_{t-1},x_t]+b_i)it=σ(Wi.[ht1,xt]+bi)

C^t=tanh(WC.[ht−1,xt]+bC)\widehat{C}_t = tanh(W_C.[h_{t-1},x_t]+b_C)Ct=tanh(WC.[ht1,xt]+bC)

Ct=ft∗Ct−1+it∗C^tC_t = f_t*C_{t-1}+i_t*\widehat{C}_tCt=ftCt1+itCt

ot=σ(Wo.[ht−1,xt]+bo)o_t = \sigma(W_o.[h_{t-1},x_t]+b_o)ot=σ(Wo.[ht1,xt]+bo)

ht=ot∗tanh(Ct)h_t = o_t*tanh(C_t)ht=ottanh(Ct

这就是一个 Ct,ht=f(ht−1,xt,Ct−1)C_t,h_t = f(h_{t-1},x^t,C_{t-1})Ct,ht=f(ht1,xt,Ct1)的函数。

2.3 LSTM变种

1 添加Peephole
在这里插入图片描述

CCC参与到结果计算中

2 forget while input
在这里插入图片描述
去掉iti_tit

3 GRU
在这里插入图片描述
Ref: Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
去掉C,保留门结构。

2.4 递归神经网络

2.5 双向RNN

双向RNN的效果总是优于单向RNN。

2.6 堆叠RNN

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/424029.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

spring mvc学习(39):restful的crud实现删除方式

上图是目录结构&#xff0c;本节是有问同学的&#xff0c;当好好总结 pom.xml <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation"http://maven.apache.org/POM/4.0…

像程序员一样地思考

在成为程序员的道路上&#xff0c;要经历四个坎坷&#xff0c;让我们用四个境界来标明他们。 第一境界&#xff0c;就是前面所说的&#xff0c;掌握一门或则几门编程语言&#xff0c;会模仿例子来实现程序代码&#xff0c;并且让代码在计算机系统中运行起来。达到这个境界的人…

基于Hibernate+spring的公司网站打造中(二)

在JbossIDE上搭建hibernatespring 资源收集&#xff1a;一.下载JDK 地址&#xff1a;http://www.java.com/zh_CN/或者网上搜索 文件&#xff1a;jdk-1_5_0_07-windows-i586-p.exe 63.4M 二.下载JbossIDE2.1下载JBoss IDE for Eclipse 地址:http://mirror.in.th/sourceforg…

nlp中的经典深度学习模型(二)

attention和transformer都是面试重点。 文章目录3 seq2seqAttention3.1 Sequence to Sequence Model3.1.2 模型介绍3.1.2 模型训练3.2注意力机制3.2.1介绍3.2.1“Bahdanau” style attention3.2.2“Luong” style attention4 Transformer4.1 Multi-head Attention4.1.1 自注意力…

spring mvc学习(40):restful的crud实现增加方式

上图是目录结构&#xff0c;本节是有问同学的&#xff0c;当好好总结 pom.xml <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation"http://maven.apache.org/POM/4.0…

1:25万全国地形数据库说明(转)

总况1、数据库构成  全国1&#xff1a;25万数据库&#xff0c;是国家基础地理信息系统三个全国性空间数据库之一。它由地形数据库、数字高程模型&#xff08;DEM&#xff09;数据库、地名数据库三部分构成。地形数据库&#xff1a;以矢量方式存储管理1&#xff1a;25万地形图…

一个人也能精彩

今天听说一个兄弟说要在长沙买房了,很替他感到高兴的.也跟自己说,Pengc,你得加油了哦.下班后在公司玩了3个小时,到家快9点半了,不过最让人兴奋的莫过于成就感了,最近一直在弄xmlSchema的解析,感觉今天最有收获了.不过还得感谢老大Tiger,虽然他不知道我在这里感谢他&#xff0c;…

spring mvc学习(41):restful的crud的项目原型介绍

上图是目录结构&#xff0c;本节是有问同学的&#xff0c;当好好总结 pom.xml <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation"http://maven.apache.org/POM/4.0.…

nlp中的经典模型(三)

文章目录5 NLP中的卷积神经网络5.1 卷积5.2 多通道5.2 max pooling5 NLP中的卷积神经网络 RNN的问题&#xff1a; 1 时间复杂度高 2 最后一个向量包含所有信息。有点不可靠 CNN可以通过卷积核捕捉局部特征&#xff0c;那是不是可以用于句子&#xff0c;表示特定长度的词序列呢…

Android笔记-Activity相关+内存泄漏

看了下&#xff0c;上次学习android还是17年的事情&#xff0c;&#xff0c;&#xff0c;&#xff0c;两年过去了我现在终于来搞android了。。。 以下内容参考自&#xff1a;《Android从学习到产品》&#xff0c;《深入理解java虚拟机》&#xff0c;《操作系统之哲学原理》 先甩…

第一百二十九期:阿里内部员工,排查Java问题常用的工具单

平时的工作中经常碰到很多疑难问题的处理&#xff0c;在解决问题的同时&#xff0c;有一些工具起到了相当大的作用&#xff0c;在此书写下来&#xff0c;一是作为笔记&#xff0c;可以让自己后续忘记了可快速翻阅&#xff0c;二是分享&#xff0c;希望看到此文的同学们可以拿出…

再看机器翻译

前面有文章具体介绍了机器翻译用到的模型&#xff1a;seq2seq和加入attention机制。这里再说点别的。 1 机器翻译评价标准BLUE 参考文章介绍的很详细。论文地址&#xff1a;url 2 模型背后的理论&#xff1a;密码学 例如从中文翻译成英文&#xff0c;可以将中文看做是加密了…

为有朝一日自己弄个玩具玩而准备

减号&#xff0c;星号&#xff0c;问号和感叹号尽量可以用来做变量名或函数名 namespace : ns0/ns1/... : 使用 / 作分割符 module : module-name : 和文件名相同&#xff0c;包含函数和变量之类的 类型 int int : fn(param0type, param1type) funcName fn(arg0Name, arg1Name…

VML编程之------VML语言入门《VML极道教程》原著:沐缘华

《VML极道教程》原著:沐缘华1章4节:VML语言入门 1:VML语言入门 - 极道学法 在我正式开始讲解、你正式开始学习VML语言以前&#xff0c;请务必遵循以下规则&#xff0c;可以达到最佳效果、极道学习方法。 1:如果你学过HTML、CSS或精通HTML、CSS&#xff0c;那么建议你把学VML的…

第一百三十期:14种常见编程语言的优缺点及应用范围

C语言是一门通用计算机编程语言&#xff0c;应用广泛。面向过程的&#xff0c;数据与算法分开。它的重点在于算法和数据结构。1972年由美国贝尔实验室在B语言的基础上设计出。 作者&#xff1a;编程小新 C 概述:C语言是一门通用计算机编程语言&#xff0c;应用广泛。面向过程…

文本生成模型

文本生成目前&#xff08;2019年&#xff09;还没有确定的可工程化的用途。 主要模型有&#xff1a;Variational Auto Encoder (VAE)和Generative Adversarial Networks (GAN) 这个对我来说是新的内容&#xff0c;需要再次消化。

设计模式学习笔记一——开篇

毕业的前段时间从定王台买了两本书《设计模式&#xff1a;可复用面向对象软件的基础》和《.NET框架程序设计》&#xff0c;两本很经典的书。工作后两本书都曾看过一部分&#xff0c;第一本不愧堪称设计模式经典之作&#xff0c;书写得很好&#xff0c;但是对于没有面向对象设计…

第一百三十一期:2019年容器使用报告:Docker 和 Kubernetes 王者地位不倒!

近日&#xff0c;容器创业公司 Sysdig 发布了 2019 年容器使用报告。这是 Sysdig 第三年发布容器年度使用报告&#xff0c;与之前不同的是&#xff0c;今年的调查结合了更多的数据源&#xff0c;并深入挖掘了 Kubernetes 的使用模式。 作者&#xff1a;高效开发运维 近日&…

Flask 路由映射对于双斜线的处理 //a//b

例子 from flask import Flask import time from tornado.wsgi import WSGIContainer from tornado.httpserver import HTTPServer from tornado.ioloop import IOLoopapp Flask(__name__)app.route(//abc//a) def index():# time.sleep(5)return OKapp.route(/abc//a) def in…

⼤规模⽆监督预训练语⾔模型与应⽤(上)

文章目录1 单词作为语言模型的基本单位的缺点2 character level modeling3预训练句子向量3.1 skip-thought3.2 InferSent3.3 句子向量评价数据集4 预训练文档向量5 ELMO1 单词作为语言模型的基本单位的缺点 单词量有限&#xff0c;遇到没有见过的单词只能以UNK表示。 模型参数…