2020 ICLR
- 修改传统LSTM
- 当前输入和隐藏状态充分交互,从而获得更佳的上下文相关表达
1 Mogrifier LSTM
- LSTM的输入X和隐藏状态H是完全独立的
- 机器学习笔记:GRU_gruc_UQI-LIUWJ的博客-CSDN博客
- 这篇论文想探索,如果在输入LSTM之前,能让输入X和隐藏状态H做交互,那么性能能不能得到提升?
- ——>论文提出了Mogrifier LSTM
-
- i=0的时候,就是传统LSTM的输入和hidden state
- i为奇数的时候,动输入x
- i为偶数的时候,动隐藏状态h
-
2 实验