1.深度循环神经网络

回顾：循环神经网络

• 如何将循环神经网络变深，以获得更多的非线性？
  • 通过添加多个隐藏层的方式来实现（和 MLP 没有本质区别），每个隐藏状态都连续地传递到当前层的下一个时间步和下一层的当前时间步

• 类似于多层感知机，隐藏层数目和隐藏单元数目都是超参数（它们是可以进行调整的）
• 使用门控循环单元或长短期记忆网络的隐状态替代上图中深度循环神经网络中的隐状态计算，就能够很容易地得到深度门控循环神经网络或长短期记忆神经网络

总结

• 深度循环神经网络使用多个隐藏层来获得更多的非线性性

  • GRU、RNN、LSTM 在结构上都是相同的，只是隐状态 H 的计算方式有区别