李宏毅NLP-4-语音识别part3-CTC

Connectionist Temporal Classification｜CTC

基于连接主义时间分类（CTC）的语音识别架构，具体描述如下：

输入层：底部的 $x^1, x^2, x^3, x^4$ 代表输入的语音信号分帧数据，是语音识别的原始输入。
编码器（Encoder）：浅蓝色模块表示编码器（如循环神经网络 RNN），负责对输入的语音帧 $x^i$ 进行特征提取和时序建模，输出隐藏状态 $h^1, h^2, h^3, h^4$ 。
分类器（Classifier）：每个隐藏状态 $h^i$ 输入到分类器（灰色模块），通过矩阵 $W$ 线性变换后，再经过 Softmax 函数，生成词汇表 $V$ 大小的概率分布（ $\text{token distribution}$ ），表示每个时刻对应词汇表中各 token 的预测概率。
在线流式处理说明：图下方文字 “For on - line streaming speech recognition, use uni - directional RNN” 指出，对于在线流式语音识别，采用单向 RNN，确保实时处理，不依赖未来帧的数据。

该架构通过 CTC 解决语音帧与文本标签的对齐问题，适用于端到端的语音识别任务，特别是需要实时处理的流式场景。
在这里插入图片描述介绍连接主义时间分类（CTC）的核心特性及处理规则：

输入输出特性：
- 输入 $T$ 个声学特征，输出 $T$ 个 tokens（忽略下采样），即输入与输出时间步一一对应。
输出处理规则：
- 输出 tokens 包含空白符 $\phi$ ，最终需通过“合并重复 tokens，去除 ( \phi )”得到最终结果。
示例说明：
- 英文示例：
  - $\phi \ \phi \ d \ d \ \phi \ e \ \phi \ e \ \phi \ p \ p$ ：合并重复的 $d$ 、 $e$ 、 $p$ ，去除 $\phi$ ，得到 $\ e \ e \ p$ 。
  - $\phi \ \phi \ d \ d \ \phi \ e \ e \ e \ e \ \phi \ p \ p$ ：合并重复的 $d$ 、 $e$ 、 $p$ ，去除 $\phi$ ，得到 $\ e \ p$ 。
- 中文示例：
  - “好好棒棒棒棒棒”：合并重复的“好”“棒”，得到“好棒”。
  - “好 $\phi$ 棒 $\phi$ 棒 $\phi \ \phi$ ”：合并重复的“棒”，去除 $\phi$ ，得到“好棒棒”。

通过这些规则，CTC 解决了语音帧与文本标签对齐的难题，适用于语音识别等序列建模任务。
在这里插入图片描述
展示连接主义时间分类（CTC）在训练中的应用，具体内容如下：

左侧训练数据：标注为 “paired training data”，输入为 $x^1$ 到 $x^4$ 的声学特征，对应标签为 “好棒”。红色文字 “much less than $T$ , no $\phi$ ” 表明标签长度远小于输入时间步 $T$ ，且不含空白符 $\phi$ ，体现了 CTC 处理输入输出长度不对齐的特性。
右侧模型架构：
- Encoder（编码器）：处理输入$ x^1$到 $x^4$ ，输出隐藏状态 $h^1$ 到 $h^4$ 。
- Classifier（分类器）：将每个 $h^i$ 转换为 $\text{token distribution}$ （令牌分布），表示每个时间步对词汇单元的预测概率。
- 交叉熵损失（cross - entropy）：图中红色框标注，每个时间步的输出通过交叉熵与目标标签比较，指导模型训练。尽管标签长度短于输入时间步，CTC 仍能通过引入空白符 $\phi$ 、合并重复令牌等机制，解决输入与输出的对齐问题，实现端到端的训练。
  该图直观呈现了 CTC 在语音识别等序列任务中，处理输入输出不对齐数据的训练过程与架构。

在这里插入图片描述
穷举所有的alignment作为训练数据
训练原理：CTC 在训练时考虑所有可能的对齐路径（即不同的 ϕ 插入方式），对这些路径的概率进行求和，通过最大化目标标签的总概率来更新模型参数。这种方式解决了语音识别等任务中输入（如声学特征）与输出（如文本标签）长度不一致的难题，无需精确对齐每一个时间步，只需利用插入 ϕ 的多种对齐方式进行训练，使模型学习到更鲁棒的序列映射关系。

在这里插入图片描述
整体通过展示 CTC 模型在语音识别任务中对目标 token / 单词的高概率预测，直观证明了 CTC 在序列建模中有效，能够准确捕捉并输出目标序列。

在这里插入图片描述

在这里插入图片描述
CTC 模型中解码器（Decoder）存在的问题具体如下：

假设与模型结构：
- 假设前三个帧对应字符 “c”。图中下方的 “Encoder” 生成隐藏状态 $h^1, h^2, h^3, h^4$ ，传递给上方的解码器（灰色模块）。
- 解码器特性标注为 “Only attend on one vector”（仅关注一个向量）和 “Each output is decided independently”（每个输出独立决定），即每次仅基于单个输入向量独立生成输出，不考虑前后文依赖。
输出问题示例：
- 输出序列中出现 “c - $\phi$ - c”。第一个对话框 “後面不可以再輸出 c 了” 表明，由于前三个帧已对应 “c”，后续不应再输出 “c”，但解码器独立决策未考虑此约束。
- 第二个对话框 “我不知道前面發生甚麼事？” 体现解码器独立生成输出，缺乏对前文信息的记忆与关联，导致重复或不合理输出（如再次输出 “c”）。