本文为李弘毅老师【Speech Recognition - RNN-T Training (optional)】的课程笔记，课程视频youtube地址，点这里👈(需翻墙)。

下文中用到的图片均来自于李宏毅老师的PPT，若有侵权，必定删除。

文章索引：

上篇 - 1-5 Alignment of HMM, CTC and RNN-T

下篇 - 1-7 Language Modeling

总目录

1 一个alignment概率的计算

不管是HMM，还是CTC，还是RNN-T，它们计算得到某一个alignment的概率的方法是一致的。下面以RNN-T为例，来说一下计算的方法。

如下图所示，我们现在来计算$h=\varphi c\varphi \varphi a\varphi t\varphi \varphi$的概率，写成公式就是

$$P(h|X)=P(\varphi |X)P(c|X,\varphi )P(\varphi |X,\varphi c)\cdots$$

那么这个结合模型到底是怎么算出来的呢？在decode的时候，RNN-T会有两个RNN，一个RNN_1（上半图）会吃一个“$<BOS>$“这样的起始符，然后吐出一个$l_0$，这个$l_0$和encoder吐出的$h_1$会一起喂给另一个RNN_2（下半图），RNN_2会生成一个概率分布$p_{1,0}$表示着这个time step由$h_1$和$l_0$生成的字典中每个字符和"$\varphi$"的概率，最后我们从中找到”$\varphi$“对应的概率是多少，就得到了我们的$P(\varphi |X)$。

由于我们这次计算的是"$\varphi$"，根据RNN-T的特性，我们不会去计算RNN_1，而是把新的$h_2$和旧的$l_0$塞进RNN_2当中，吐出一个由$h_2$和$l_0$生成的概率分布$p_{2,0}$，从这个$p_{2,0}$中找到字符"c"的概率，就得到了$P(c|X,\varphi )$。

又因为RNN-T的特性，在没有遇到"$\varphi$“不会喂给RNN_2新的$h$，而$RN{N}_1$需要重新计算一个得到$l_1$，于是由$h_2$和$l_1$生成概率分布$p_{2,1}$，从中找到”$\varphi$"的对应概率，就得到了$P(\varphi |X,\varphi c)$。

依此类推，一致计算下去，直到算完整个$h$。然后把得到的概率值，全都乘起来，就得到了我们的$P(h|X)$。

2 所有alignments概率的计算

$P(h|X)$会算了，接下来，我们要来算一下$P(Y|X)$。得益于RNN-T有两个结构上不影响的RNN，我们在计算$p_{i,j}$的时候，不管前面的输出顺序如何，其结果都是保持不变的。比如，在计算$p_{4,2}$时，不管前面的输出序列是"$\varphi c\varphi \varphi a$"，还是“$c\varphi \varphi a\varphi$"，还是“$\varphi \varphi \varphi ca$"，我们的$l^2$和$h^4$是打死不变的，所以$p_{4,2}$是不会变的。

不过这里我其实有一个疑惑，虽然$l^2$和$h^4$是不会变的，但是生成$p_{4,2}$的这个RNN的记忆不会因为前面产生token的顺序不同而变化吗？存疑。（疑惑已解，生成$p_{4,2}$的是简单的DNN，不是RNN，黄色方块没有横向的传播）

现在我们就认为$p_{i,j}$是不会变化的，然后来看一下下面这个表格。然后我们会用和HMM中的forward algorithm差不多的方法来计算$P(Y|X)$。

首先我们定义${\alpha }_{i,j}$表示读取了第$i$个声音讯号的特征并且输出了第$j$个token时，所有alignments的概率之和。比如${\alpha }_{4,2}$就表示输出了”$c$“和"$a$"，且用到$h_4$时，所有alignments的概率之和。

而${\alpha }_{4,2}$只可能从${\alpha }_{4,1}$或者${\alpha }_{3,2}$过来，所以有

$${\alpha }_{4,2}={\alpha }_{4,1}{p}_{4,1}(a)+{\alpha }_{3,2}{p}_{3,2}(\varphi )$$

按照这个办法，我们就可以把这整个表格填满，而右下角最后一个格子的概率，就是$P(Y|X)$。

3 Training

而以上的这些步骤，都只是一个forward的过程，我们还没有到training这一步。我们先要有一个一组参数$\theta$可以输出$P_{\theta }(\hat{Y}|X)$，然后我们再用梯度下降的方法去优化参数，使得给定一段声音讯号$X$，模型输出标签$\hat{Y}$的概率是最大的。

$${\theta }^{\ast }=\underset{\theta }{\underbrace{argmax}}log{P}_{\theta }(\hat{Y}|X)$$

在梯度下降时，我们当然要先求解一下偏微分

$$\frac{\partial P(\hat{Y}|X)}{\partial \theta }$$

而这里的$P(\hat{Y}|X)={\sum }_{h\in align(\hat{Y})}P(h|X)$是一堆和$p_{1,0}(\varphi )$，$p_{2,0}(c)$，$p_{2,1}(\varphi )$，$\cdots$这些相关的连乘和连加。故

$$\frac{\partial P(\hat{Y}|X)}{\partial \theta }=\frac{\partial p_{4,1}(a)}{\partial \theta }\frac{P(\hat{Y}|X)}{\partial p_{4,1}(a)}+\cdots$$

我们以$\frac{\partial p_{4,1}(a)}{\partial \theta }\frac{P(\hat{Y}|X)}{\partial p_{4,1}(a)}$为例，先来算一下$\frac{\partial p_{4,1}(a)}{\partial \theta }$。这个部分就和正常的RNN神经网络反向传播（BPTT）一致，这里不做说明。示意图如下所示。

而在计算$\frac{P(\hat{Y}|X)}{\partial p_{4,1}(a)}$时，我们就可以把$P(\hat{Y}|X)$拆分成

$$P(\hat{Y}|X)=\sum _{hwith{p}_{4,1}(a)}P(h|X)+\sum _{hwithout{p}_{4,1}(a)}P(h|X)$$

这里的第二项和$p_{4,1}(a)$没有关系，故求偏导为0，可直接忽略，前一项可以写成

$$\sum _{hwith{p}_{4,1}(a)}P(h|X)=\sum _{hwith{p}_{4,1}(a)}{p}_{4,1}(a)\times others$$

故

$$\frac{P(\hat{Y}|X)}{\partial p_{4,1}(a)}=\sum _{hwith{p}_{4,1}(a)}others=\sum _{hwith{p}_{4,1}(a)}\frac{P(h|X)}{p_{4,1}(a)}=\frac{1}{p_{4,1}(a)}\sum _{hwith{p}_{4,1}(a)}P(h|X)$$

那么问题来了，这个${\sum }_{hwith{p}_{4,1}(a)}P(h|X)$该怎么算呢？这里，我们就要引进HMM中的backward algorithm。这个和之前的forward algorithm很类似，我们定义一个参数${\beta }_{i,j}$表示从输入第$i$个声音讯号，输出第$j$个token的位置开始，一致走到终点的所有alignments的概率之和。

而这个${\beta }_{i,j}$也是和${\alpha }_{i,j}$一样，整个表格是可以事先填满的。

那么根据${\alpha }_{i,j}$和${\beta }_{i,j}$的定义，我们有

$$\sum _{hwith{p}_{4,1}(a)}P(h|X)={\alpha }_{4,1}{p}_{4,1}(a){\beta }_{4,2}$$

那么就有

$$\frac{P(\hat{Y}|X)}{\partial p_{4,1}(a)}={\alpha }_{4,1}{\beta }_{4,2}$$

示意图如下所示。

4 Inference

现在假设我们已经train好了一个模型，然后输出$X$和$Y$就可以计算出$P(Y|X)$这个概率，那么我们要做的就是找到一个$Y^{\ast }$使得$P(Y^{\ast }|X)$最大。

$$Y^{\ast }=\underset{Y}{\underbrace{argmax}}P(Y|X)$$

虽然有演算法可以做到这点，但还是太过复杂，实际情况下，我们不会那么去做。我们会去找一个近似的解。而这个求近似解的方法，就是取每一个$p_{i,j}$中概率最大的那一个就可以了。这个也被称为greedy decoding。

如果希望更精确一些，也可以用Beam Search。greedy decoding可以说是beam search的一种特殊情况，就是beam=1的时候的情况。在遍历每个time step的时候，我会会一直保留一个大小为beam的候选集，候选集中是多个长度相等，但不同的字符串，每个字符串有一个score，也就是其概率大小。

比如我们有一个非常简单的输出矩阵为，其中#就是空白符$\varphi$

我们用beam search取找其最优组合的过程为

要注意的是，每次得到的新的字符串可能来自于不同的beam，要把他们的概率都加起来。beam越大，最终输出的结果就越准，但相应的计算成本也就更高。一般情况下，我们都是greedy search来做的，没必要用这个，仅作为了解。其实现可见[这里]。(https://github.com/githubharald/CTCDecoder/blob/master/ctc_decoder/beam_search.py)

5 小结

最后，我们来比较一下LAS，CTC以及RNN-T这三者的异同。在decoder这部分，LAS和RNN-T是依赖于之前的输出的，而CTC是不管的；CTC和RNN-T是需要对结果做alignment的，而LAS是输出什么就是什么的；LAS的training就是硬train一发，而CTC和RNN-T由于需要alignment，会复杂一些；LAS是无法做到句子还没念完就输出预测结果的，但是CTC和RNN-T是可以的。