一句话总结

代表四个研究团队，作者概述了语音识别中声学建模的转变，其中使用新颖方法训练的多层深度前馈神经网络取代高斯混合模型来估计HMM状态后验概率，在多种基准上取得了显著改进。

核心贡献

• 本文总结了四个研究团队的结果，表明深度神经网络声学模型在TIMIT和五个大词汇量连续语音识别任务上始终优于高斯混合模型，有时优势显著。
• 描述了无监督预训练方法（堆叠受限玻尔兹曼机或正则化自编码器）；预训练可减少过拟合并加速判别式微调，但谨慎的随机权重初始化也能实现类似的训练时间缩短。
• 主要性能提升归因于深度网络能够利用相邻帧的信息并建模绑定上下文相关状态，预训练主要充当正则化器。

引言

作者专注于自动语音识别中的声学建模，其中高斯混合模型与隐马尔可夫模型（GMM‑HMM）长期以来一直是标准。GMM在统计上难以有效捕捉位于或接近非线性流形的数据，而语音常具有此特性，这限制了进一步的精度提升。作者回顾了一种两阶段训练流程，使用深度神经网络（DNN）克服这一弱点：首先进行无监督生成式逐层预训练，然后进行判别式微调以预测HMM状态。该方法在多个研究团队中应用，基于DNN的方法在小型和大词汇量连续语音识别任务上均显著优于精心调校的GMM‑HMM系统。

方法

作者描述了一种全面的深度神经网络（DNN）训练方法，解决了深层架构固有的优化挑战，例如梯度消失和过拟合。虽然DNN可以使用反向传播和带动量的随机梯度下降（SGD）进行判别式训练，但深层网络通常难以从随机初始化中找到良好的权重配置。为了克服这一问题，作者提出了一种先进行生成式预训练再进行判别式微调的流程。

使用受限玻尔兹曼机进行生成式预训练 预训练阶段涉及逐层学习特征检测器，以建模输入数据的结构。作者使用受限玻尔兹曼机（RBM），这是一种无向图模型，具有二分结构，由可见单元和隐藏单元组成。联合概率由能量函数 $E(\mathbf{v}, \mathbf{h})$E(v,h) 定义。对于二值数据，能量定义为： $E(\mathbf{v}, \mathbf{h}) = - \sum_{i \in \text{visible}} a_i v_i - \sum_{j \in \text{hidden}} b_j h_j - \sum_{i, j} v_i h_j w_{ij}$E(v,h)=−∑i∈visible​ai​vi​−∑j∈hidden​bj​hj​−∑i,j​vi​hj​wij​ 为了高效学习权重，作者采用对比散度（CD），特别是 $\text{CD}_1$CD1​。该算法通过执行一步交替吉布斯采样来近似对数似然的梯度。它从训练向量开始，计算隐藏状态，重构可见状态，并根据数据与重构之间的相关性差异更新权重： $\Delta w_{ij} = \epsilon (<v_i h_j>_{\text{data}} - <v_i h_j>_{\text{recon}})$Δwij​=ϵ(<vi​hj​>data​−<vi​hj​>recon​)

对于像MFCC这样的实值声学数据，作者使用高斯-伯努利RBM（GRBM）。能量函数被修改为包含可见单元的高斯噪声： $E(\mathbf{v}, \mathbf{h}) = \sum_{i \in \text{vis}} \frac{(v_i - a_i)^2}{2 \sigma_i^2} - \sum_{j \in \text{hid}} b_j h_j - \sum_{i, j} \frac{v_i}{\sigma_i} h_j w_{ij}$E(v,h)=∑i∈vis​2σi2​(vi​−ai​)2​−∑j∈hid​bj​hj​−∑i,j​σi​vi​​hj​wij​ 在训练过程中，数据被归一化为零均值、单位方差，并将 $\sigma_i$σi​ 设为 1，以避免学习噪声水平的复杂性。

堆叠RBM形成深度信念网络 为了构建深层架构，作者堆叠多个RBM。一个已训练RBM的隐藏状态作为训练下一个RBM的可见数据。这种逐层过程逐步捕捉到更复杂的统计结构。然后，RBM堆叠被组合成一个单一的生成模型，称为深度信念网络（DBN）。在DBN中，顶层两层形成一个无向RBM，而较低层具有有向的、自上而下的连接。

参考框架图： 如图所示，该过程从在声学系数上训练一个GRBM开始。然后使用隐藏状态训练后续的RBM。一旦堆叠完成，权重被转换以初始化一个前馈DNN。下层RBM的无向连接被有向连接替代（使用转置权重），并添加一个softmax输出层。

判别式微调与HMM接口 预训练后，网络被视为标准DNN，并使用反向传播进行判别式微调，以最小化预测与目标HMM状态概率之间的交叉熵。为了与HMM接口进行解码，DNN输出的后验概率 $P(\text{HMM state} | \text{Acoustic Input})$P(HMM state∣Acoustic Input) 被转换为似然 $P(\text{Acoustic Input} | \text{HMM state})$P(Acoustic Input∣HMM state)，方法是通过除以从强制对齐得出的先验状态频率。

作者还讨论了使用序列分类准则进行微调，特别是最大互信息（MMI）。这优化了给定输入序列时整个标签序列的条件概率，实际上将DNN的最顶层隐藏层作为条件随机场的特征。目标函数为： $p(l_{1:T} | v_{1:T}) = \frac{\exp(\sum_{t=1}^T \gamma_{ij} \phi_{ij}(l_{t-1}, l_t) + \sum_{t=1}^T \sum_{d=1}^D \lambda_{l_t, d} h_{td})}{Z(h_{1:T})}$p(l1:T​∣v1:T​)=Z(h1:T​)exp(∑t=1T​γij​ϕij​(lt−1​,lt​)+∑t=1T​∑d=1D​λlt​,d​htd​)​ 梯度针对激活参数、转移参数和DNN权重进行计算，以联合优化系统。

替代预训练方法 虽然RBM是描述的主要方法，但作者指出其他架构也可用于逐层预训练。判别式预训练（依次添加并训练层以最小化分类误差）同样有效。此外，自编码器可以替代RBM。自编码器最小化输入和输出单元之间的重构误差，通常具有瓶颈编码层。

如下图所示： 该图描绘了具有输入、编码和输出单元的自编码器结构。变体如去噪自编码器（破坏输入）或收缩自编码器（惩罚梯度）用于正则化学习过程，在视觉任务中取得与RBM相当的性能，而稀疏自编码器在语音识别中显示出改进。

实验

具有多个隐藏层的深度神经网络，特别是当作为深度信念网络预训练时，在一系列语音识别任务中始终优于高斯混合模型，从TIMIT上的小规模音素分类到Bing语音搜索、Switchboard和广播新闻等大词汇量系统。这些实验验证了使用上下文相关的绑定三音素状态作为目标、利用多帧声学输入以及采用更深架构都有助于显著降低错误率。进一步研究表明，DNN还可以作为GMM‑HMM系统的有效特征提取器或发音特征检测器，卷积DNN对说话人和噪声变化具有鲁棒性。总体而言，这些发现证实了基于DNN的声学模型相较于最先进的判别式训练的GMM‑HMM基线提供了显著且持续的优势。

在五个大词汇量任务中，DNN‑HMM系统产生的词错误率始终低于在相同数据量上训练的GMM‑HMM。当GMM‑HMM获得更多训练数据时，其性能可接近DNN‑HMM，但DNN‑HMM在大多数任务上仍保持优势。在仅50小时训练的英语广播新闻任务上，DNN‑HMM实现了17.5%的词错误率，这是该配置下报道的最佳结果。在所有五个任务中，DNN‑HMM的错误率均低于在相同数据上训练的GMM‑HMM，相对改进范围从约7%到超过30%。在仅50小时训练数据的英语广播新闻任务上，DNN‑HMM实现了17.5%的词错误率，论文称其为该基准上的最佳结果。

在所有LVCSR阶段以及50小时和430小时训练条件下，使用AE‑BN特征均能持续改善词错误率，优于GMM‑HMM基线。在较小数据集上绝对增益更明显，两个系统的模型组合带来了额外的降低，证实了它们的互补信息。在完全自适应后，AE‑BN特征在50小时数据上提供了比430小时数据上更大的相对WER改进。结合AE‑BN和基线系统进一步降低了WER，展示了方法之间的互补性。

在大词汇量语音识别实验中，DNN‑HMM和使用自编码器瓶颈特征的系统与GMM‑HMM基线进行了比较。两种方法均持续产生更低的词错误率，较小训练集上相对改进更大；DNN‑HMM在50小时英语广播新闻任务上设立了新的最优水平，自编码器特征在与基线模型结合时展示了互补价值。