13 天前

DiffWave:一种用于音频合成的通用扩散模型

Zhifeng Kong, Wei Ping, Jiaji Huang, Kexin Zhao, Bryan Catanzaro
DiffWave:一种用于音频合成的通用扩散模型
摘要

在本工作中,我们提出了DiffWave,一种适用于条件与非条件波形生成的通用扩散概率模型。该模型为非自回归(non-autoregressive)结构,在生成阶段通过具有固定步数的马尔可夫链,将白噪声信号逐步转化为具有结构的波形。模型通过优化数据似然性的变体变分界(variational bound)实现高效训练。DiffWave在多种波形生成任务中均能生成高保真音频,包括基于梅尔频谱图的神经声码器(neural vocoding)、类别条件生成以及非条件生成。实验表明,DiffWave在语音质量方面与强大的WaveNet声码器相当(MOS评分为4.44 vs. 4.43),同时生成速度却快出数个数量级。尤其在具有挑战性的非条件生成任务中,无论是自动评估还是人工评估,DiffWave在音频质量与样本多样性方面均显著优于自回归模型和基于GAN的波形生成模型。