一、梯度消失问题
-
梯度消失：
基础的 RNN 模型不善于处理长期依赖关系，有很多局部影响，很难调整自己前面的计算。y^{<i>} 仅仅受自己附近的值影响。
-
解决方法：GRU 或 LSTM
-
梯度爆炸：
反向传播时，随着层数增多，梯度不仅可能指数型下降，还有可能指数型上升 —— 会导致参数过大，网络崩溃
解决方法：梯度修剪 —— 观察梯度向量，若大于某个阈值，则放缩梯度向量，保证其不会过大
二、GRU
目的：使隐藏层更好地捕捉深层连接，改善梯度消失的问题
1. RNN 单元
2. 简化版 GRU 单元
c = memory \space cell
c^{<t>} = a^{<t>}
-
c^{<t>} 的候选值：\widetilde{c}^{<t>} = tanh(w_{c}[c^{<t-1>},x^{<t>}]+b_{c})
-
核心思想 "门" - 决定什么时候更新：\Gamma_{u} = \sigma(w_{u}[c^{<t-1>},x^{<t>}]+b_{u})
u：“update”
\Gamma_{u} 介于0到1之间，大多数情况下非常接近0或1
sigmoid 激活函数:
-
关键部分：c^{<t>} = \Gamma_{u}*\widetilde{c}^{<t>} + (1-\Gamma_{u})*\widetilde{c}^{<t-1>}
\Gamma_{u} = 1：将 c^{<t>} 更新为候选值
\Gamma_{u} = 0：保留原来的值
优点：若 \Gamma_{u} 接近0，c^{<t>}几乎等于c^{<t-1>}，即使经过了很多层，c^{<t>}的值依然会被保留，故可以缓和梯度下降带来的问题。
c^{<t>} 可以是向量，用不同的bit去记忆不同的单词。
3. 完整版 GRU
\widetilde{c}^{<t>} = tanh(w_{c}[\Gamma_{r}*c^{<t-1>},x^{<t>}]+b_{c})
\Gamma_{u} = \sigma(w_{u}[c^{<t-1>},x^{<t>}]+b_{u})
- \Gamma_{r} = \sigma(w_{r}[c^{},x^{}]+b_{u})
r："relevance"
表示计算出的 \widetilde{c}^{<t>} 与 c^{<t-1>} 有多大的相关性
c^{<t>} = \Gamma_{u}*\widetilde{c}^{<t>} + (1-\Gamma_{u})*\widetilde{c}^{<t-1>}
a^{<t>} = c^{<t>}
)
