LC-BLSTM结构快速解读

参考文献如下：

(1) A Context-Sensitive-Chunk BPTT Approach to Training Deep LSTM/BLSTM Recurrent Neural Networks for Offline Handwriting Recognition

(2) Training Deep Bidirectional LSTM Acoustic Model for LVCSR by a Context-Sensitive-Chunk BPTT Approach

(3) Improving Latency-Controlled BLSTM Acoustic Models for Online Speech Recogintion

前言众所周知，BLSTM是双向的LSTM，它可以同时兼容上下文的信息，从而在一般序列任务上的表现很好。但是BLSTM有一个很致命的弱点，那就是因为有逆向LSTM的存在，它需要有后文的后验，使得它无法在实时的序列任务上也有好的表现。基于实时任务的需求，出现了两种BLSTM的变体——CSC-BLSTM和LC-BLSTM

1. CSC-BLSTM结构解析

CSC-BLSTM结构全名——Context-Sensitive-Chunk Bidirectional Long Short-Term Memory，是BLSTM的第一种改进版本。请看结构图：

CSC-BLSTM首先把序列按照图示的方法分割成多组chunk，除了首尾位置，其他位置处的都是由N_l+N_c+N_r构成，分割的大小事先给定，一般选做30帧+60帧+30帧的模式。

其核心思想在于，N_l用来初始化N_c的前向细胞层状态，N_r用来初始化N_c的后向细胞层状态。N_l和N_r不参与误差反向传播。如下图：

很显然，CSC-BLSTM的这种结构改进可以减小实时任务的延迟，用不着整段话都输入完毕才有结果。但是从整体上看，它是以牺牲计算量为代价的。因为与BLSTM相比，它多出了N_l和N_r上的计算。在此基础之上，为了减少这种计算量，又出现了更加简化了的LC-BLSTM。

2. LC-BLSTM结构解析

LC-BLSTM结构全名——Latency-Controlled Bidirectional Long Short-Term Memory，它改进了CSC-BLSTM。请看结构图：

可以发现，相比于CSC-BLSTM，LC-BLSTM取消了N_l，只保留了N_c+N_r。但是如此在计算上必然有差异。

原来，LC-BLSTM的计算也并不复杂，同CSC-BLSTM一样，N_r用来初始化N_c的后向细胞层状态。但是，N_c的前向细胞层状态直接由它的前一个N_c的输出状态得到。这样，相比于CSC-BLSTM，LC-BLSTM避免了N_l的计算量。

But!!!很不幸，通过实验发现，为了保证准确率，LC-BLSTM必须要保证N_r划分的足够大，比如在原论文中，N_c=22的情况下，N_r需要有21，这几乎使得N_r需要有N_c同样的大小。在N_c=N_r=30的情况下，LC-BLSTM的计算量是传统BLSTM的两倍。