HyperAIHyperAI

Command Palette

Search for a command to run...

DiffWave:一种用于音频合成的通用扩散模型

Zhifeng Kong Wei Ping Jiaji Huang Kexin Zhao Bryan Catanzaro

摘要

在本工作中,我们提出了DiffWave,一种适用于条件与非条件波形生成的通用扩散概率模型。该模型为非自回归(non-autoregressive)结构,在生成阶段通过具有固定步数的马尔可夫链,将白噪声信号逐步转化为具有结构的波形。模型通过优化数据似然性的变体变分界(variational bound)实现高效训练。DiffWave在多种波形生成任务中均能生成高保真音频,包括基于梅尔频谱图的神经声码器(neural vocoding)、类别条件生成以及非条件生成。实验表明,DiffWave在语音质量方面与强大的WaveNet声码器相当(MOS评分为4.44 vs. 4.43),同时生成速度却快出数个数量级。尤其在具有挑战性的非条件生成任务中,无论是自动评估还是人工评估,DiffWave在音频质量与样本多样性方面均显著优于自回归模型和基于GAN的波形生成模型。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供