摘要
在本工作中，我们提出了一种轻量级的原始音频生成流模型——WaveFlow，该模型采用最大似然法直接进行训练。WaveFlow 通过扩张的二维卷积架构有效建模一维波形的长程结构，同时利用表达能力强的自回归函数捕捉局部变化。WaveFlow 为基于似然的 1-D 数据建模提供了一个统一的视角，其中 WaveNet 和 WaveGlow 均可视为其特例。与 WaveNet 一样，WaveFlow 能够生成高保真语音，同时在生成速度上实现了数量级的提升——仅需少数几轮串行计算即可生成包含数十万时间步的超长波形。此外，该模型显著缩小了自回归模型与基于流的模型在高效语音合成中长期存在的似然性能差距。最后，我们的轻量级 WaveFlow 模型仅包含 591 万个参数，相比 WaveGlow 减少了 15 倍；在未使用专门优化推理内核的情况下，该模型可在 V100 GPU 上以 939.3 kHz 的速率实现 22.05 kHz 高保真音频生成，速度达到实时的 42.6 倍。