一句话总结

来自中国科学技术大学和佐治亚理工学院的研究人员提出了一种基于深度神经网络（DNN）的语音增强回归框架，该框架学习从带噪语音到干净语音的映射，利用大规模训练集、全局方差均衡、dropout和噪声感知训练来提升泛化能力，并表明该方法在真实场景中能显著抑制非平稳噪声，同时不产生音乐噪声，其性能远超传统最小均方误差（MMSE）方法。

核心贡献

• 一种监督式语音增强框架，以深度神经网络作为非线性回归函数，将带噪语音特征映射为干净特征，并在包含超过100种噪声类型的大规模多条件数据集上进行训练，同时扩展声学上下文以提升泛化能力。
• 引入三种技术进一步改进基于DNN的系统：全局方差均衡以减少过度平滑，dropout正则化以抑制过拟合，以及噪声感知训练以增强对未见噪声条件的鲁棒性。
• 实验结果表明，所提方法在客观和主观指标上均显著优于传统MMSE方法，能够有效抑制非平稳噪声，并在真实录音中避免音乐噪声，即使面对未见语言和录音环境也表现良好。

引言

作者针对单通道语音增强这一关键任务展开研究，该任务在移动通信、助听器和鲁棒语音识别中至关重要，而以往方法往往难以处理非平稳噪声，并产生音乐噪声或过度平滑等伪影。传统的基于MMSE的估计器与浅层神经网络受限于有限的噪声跟踪能力以及对未见声学条件较差的泛化性，而二值掩码方法虽能提升可懂度，却牺牲了语音质量。作者通过在一个包含超过100种噪声类型的大规模异构数据集上进行训练，并利用完整的声学上下文（宽频带和上下文帧）来减少不连续性，从而扩展了回归DNN框架。他们进一步引入三种策略：全局方差均衡以抵消过度平滑，dropout以提升泛化能力，以及噪声感知训练，从而得到一个鲁棒的增强器，能够在多种未见噪声环境下保持音质。

方法

作者提出了一种基于DNN的语音增强框架，其主要分为两个阶段：训练和增强。如下图所示：

在训练阶段，使用从带噪和干净语音对中提取的 log-power 谱特征训练一个基于DNN的回归模型。首先进行短时傅里叶分析，计算重叠加窗帧的离散傅里叶变换（DFT），接着计算 log-power 谱。在增强阶段，训练好的DNN处理带噪语音特征以预测干净语音特征。得到估计的 log-power 谱特征 $\hat{X}^l(d)$X^l(d) 后，重构的频谱 $\hat{X}^f(d)$X^f(d) 计算如下：

$\hat{X}^f(d) = \exp\{\hat{X}^l(d) / 2\} \exp\{j \angle Y^f(d)\}$X^f(d)=exp{X^l(d)/2}exp{j∠Yf(d)}

其中 $\angle Y^f(d)$∠Yf(d) 是带噪语音的相位。由于在低信噪比下相位估计困难，相位直接从带噪信号中提取。最后，通过逆离散傅里叶变换（IDFT）和重叠相加法合成波形。

网络架构是一个前馈神经网络，将带噪特征映射为干净特征。训练过程包括无监督预训练和有监督微调。训练过程如下图所示：

为避免陷入局部极小值，作者首先通过堆叠多个受限玻尔兹曼机（RBM）预训练一个深度生成模型。由于输入特征为实值，第一个RBM为高斯-伯努利RBM，之后是逐层使用对比散度训练的伯努利-伯努利RBM。随后，使用均方误差（MSE）目标函数通过反向传播微调所有参数。误差函数为：

$Er = \frac{1}{N} \sum_{n=1}^{N} \| \hat{\mathbf{X}}_n(\mathbf{Y}_{n-\tau}^{n+\tau}, \mathbf{W}, \mathbf{b}) - \mathbf{X}_n \|_2^2$Er=N1​∑n=1N​∥X^n​(Yn−τn+τ​,W,b)−Xn​∥22​

其中 $\hat{\mathbf{X}}_n$X^n​ 和 $\mathbf{X}_n$Xn​ 分别为估计和参考特征，$N$N 为小批量大小，$\mathbf{Y}_{n-\tau}^{n+\tau}$Yn−τn+τ​ 为带有上下文窗口 $2\tau+1$2τ+1 的带噪特征向量。参数使用带有动量和权重衰减的随机梯度下降进行迭代更新。

基于DNN的增强中常见的问题是过度平滑，这会导致声音发闷。估计特征的全局方差通常小于参考特征的全局方差。这种差异如下图所示：

这种过度平滑会抑制共振峰，尤其是高频部分，导致语音发闷。由此产生的过度平滑效果在下图中清晰可见：

为解决该问题，作者提出了全局方差均衡。定义维度相关的均衡因子 $\alpha(d)$α(d) 为：

$\alpha(d) = \sqrt{\frac{GV_{ref}(d)}{GV_{est}(d)}}$α(d)=GVest​(d)GVref​(d)​​

其中 $GV_{ref}(d)$GVref​(d) 和 $GV_{est}(d)$GVest​(d) 分别为参考特征和估计特征的全局方差。也可使用维度无关的因子 $\beta$β。DNN输出 $\hat{X}(d)$X^(d) 被反变换，并乘以均衡因子 $\eta$η（即 $\alpha$α 或 $\beta$β），从而锐化共振峰并抑制残余噪声：

$\hat{X}''(d) = \hat{X}(d) * \eta * v(d) + m(d)$X^′′(d)=X^(d)∗η∗v(d)+m(d)

其中 $m(d)$m(d) 和 $v(d)$v(d) 为输入带噪特征的均值和方差。

为提升对未见噪声类型的泛化能力，作者采用dropout训练。训练时，随机丢弃输入层和隐藏层中比例为 $\rho$ρ 的神经元。这可以防止复杂的共适应与过拟合。在增强阶段，权重乘以 $(1-\rho)$(1−ρ) 进行折扣。

此外，为使网络具备噪声感知能力，DNN的输入向量被扩充了一个噪声估计 $\hat{\mathbf{Z}}_n$Z^n​，该估计通过计算该句前 $T$T 帧的平均值得到：

$\mathbf{V}_n = [\mathbf{Y}_{n-\tau}, \dots, \mathbf{Y}_n, \dots, \mathbf{Y}_{n+\tau}, \hat{\mathbf{Z}}_n]$Vn​=[Yn−τ​,…,Yn​,…,Yn+τ​,Z^n​]

$\hat{\mathbf{Z}}_n = \frac{1}{T} \sum_{t=1}^{T} \mathbf{Y}_t$Z^n​=T1​∑t=1T​Yt​

这使得DNN能够利用在线噪声信息进行更准确的预测。同时，在拼接至输入层的噪声估计上同样应用了dropout，以补偿噪声谱的变异性。

实验

评估设置中，多条件训练集包含2500小时数据，涉及104种环境噪声类型和TIMIT干净语音，测试则使用15种未见噪声类型和真实录音。实验表明，更深的网络、更长的声学上下文以及更多样化的训练数据能提升泛化能力，而所提出的dropout、全局方差均衡和噪声自适应训练策略相互补充，显著优于LogMMSE基线，尤其在非平稳噪声下。主观听力测试证实，听者强烈偏好DNN增强后的语音，且该方法在跨语言真实场景中也能有效抑制突发和非平稳噪声。

使用104种噪声类型进行训练相比仅用4种噪声类型，在所有测试的信噪比上均持续提升感知质量（PESQ）并降低对数谱失真（LSD）。在极低信噪比条件下，LSD的改善尤为显著。在每个信噪比下，暴露于104种噪声类型的模型在PESQ得分上均高于仅用4种噪声训练的模型。随着信噪比降低，使用更多噪声类型带来的LSD降低幅度显著增大，其中最低测试信噪比下的改善幅度最大。

深度神经网络语音增强在所有测试信噪比和未见噪声类型下，其PESQ得分均持续高于带噪基线以及浅层SNN模型。最优DNN变体的平均PESQ值接近2.60，远高于带噪语音的平均值2.09，且即使在极低信噪比下，质量增益依然显著。所有基于DNN的方法在每个信噪比条件下均优于两个SNN模型和未处理的带噪语音。表现最佳的DNN配置（DNN_3和DNN_4）的平均PESQ得分达到2.59–2.60，而带噪语音为2.09，最佳SNN为2.48。从20 dB到-5 dB信噪比，领先的DNN始终保持明显优势，其相较于带噪语音的绝对PESQ提升幅度在0.38至0.49分之间。

所提出的归一化干净 log-power 谱训练目标在所有测试的未见噪声环境和信噪比下，均取得比IRM和FFT-mask目标更高的PESQ得分。IRM和FFT-mask目标性能相近，均落后于所提目标，且所提目标的优势在高信噪比下最为明显。对于所有训练目标，PESQ随信噪比降低而单调下降。所提目标在每个条件下均获得最高PESQ；例如，在Destroyer engine噪声环境下，SNR20时其得分为3.51，而IRM为3.43，FFT-mask为3.41。所提目标与另外两种目标之间的PESQ差距在高信噪比（如SNR20和SNR15）时较大，而在极低信噪比（如SNR-5）时缩小。

RBM预训练与随机初始化在所有测试信噪比和未见噪声环境下的语音增强结果几乎完全相同。在PESQ、LSD和SSNR指标上，差异可以忽略不计，这表明在100小时训练数据下，预训练策略相较随机权重初始化并无实质性优势。在每个信噪比下，RBM预训练与随机初始化的PESQ得分差异最多为0.02。LSD和SSNR值基本不变，预训练并未带来一致性的改善。

在三种未见噪声环境下，噪声自适应训练（NAT）技术均持续提升PESQ，其中β变体在每个信噪比下均获得最高得分。Destroyer engine噪声环境下的语音质量最佳，而HF channel是最具挑战性的。增益从-5 dB到20 dB信噪比始终保持稳健。β NAT变体在所有测试噪声条件和信噪比下，均优于α变体和原始DNN基线。在Destroyer engine噪声中语音质量最高，在HF channel噪声中最低，且DNN基线在每个信噪比下在engine noise中的PESQ均高于在HF channel中。

实验在多种条件下评估语音增强，包括使用4种与104种噪声类型训练、DNN与浅层SNN架构对比、替代训练目标、预训练策略以及噪声自适应技术，使用PESQ、LSD和SSNR指标，信噪比从-5 dB到20 dB，在未见噪声环境下进行。使用104种噪声类型训练、更深的DNN模型以及归一化 log-power 谱目标能够持续提升感知质量，而β噪声自适应变体进一步提升了性能。在100小时训练数据下，RBM预训练与随机初始化相比并无优势。最佳配置相较带噪基线取得了显著增益，且在极低信噪比下改进幅度最大。