一 基本定义

视频链接

1.小案例理解–语义理解

• 目的：输入一句话，机器需要理解这句话的语义
  
  
  
  
  
  

二. RNN模型分类

1. 按照输入输出分类

(1) N Vs N

(2) N Vs 1

(3) 1 VsN

(4) seq2seq

三 传统RNN模型

1. 内部结构分析

（a) 总体外观

• 绿色的块表示神经网络层，上述显示了3层，每一层结构都是一样的；
• 黄色块表示激活函数
• 上一层的输出h和当前层的输入x，汇合在一起的操作是张量的拼接，新的张量将会通过一个全连接层，然后通过一个tanh激活函数，最后得到当前层的输出

（b) 公式表达一层的结构

• W表示全连接层，b表示偏置
  
  

（c) 激活函数的作用

• 增加非线性因素
• 调节网络的值
  

四 RNN的调用

import torch
import torch.nn as nn
rnn = nn.RNN(5,6,1)   #参数依次是输入张量x中特征维度的大小；隐藏层中张量h的大小，隐藏层的数量
#1：表示序列长度是1， 由于输入是长度为5的张量，这里定义的随机数是3行5列，所以3相当于batch
input = torch.randn(1,3,5)
h0 = torch.randn(1,3,6)  #1要和nn.RNN(5,6,1) 里面的1对上
output,hn = rnn(input,h0)print(input)