RNN的问题:长期依赖,即对短期的数据敏感,对比较远的长期数据不敏感,这是因为RNN隐藏状态权重在不同时刻是共享相同的,随着时间步的增加,梯度会指数级地衰减或者增长,导致梯度消失或者爆炸,导致RNN难以捕捉到在较长时间尺度上具有依赖关系的信息。
LSTM通过增加门控单元,相比RNN,能够解决长期依赖问题
这个门控是输入门、遗忘门、输出门
**这个门是怎么起作用的?**
门通俗理解就是一组**可变权重**,可以针对当前时刻选择要处理的信息做调整,进行遗忘 存储等操作,可以看到下图2-12中,两个门控充当了权重的作用,这个权重是可以变化的,根据当前信息不断变化。