HyperAIHyperAI

Command Palette

Search for a command to run...

HiFi-GAN:用于高效且高保真语音合成的生成对抗网络

Jungil Kong Jaehyeon Kim Jaekyoung Bae

摘要

近年来,多项语音合成研究采用生成对抗网络(GAN)直接生成原始波形。尽管此类方法在采样效率和内存占用方面有所提升,但其生成样本的质量尚未达到自回归模型和基于流(flow-based)生成模型的水平。本文提出HiFi-GAN,实现了高效且高保真的语音合成。由于语音音频本质上由不同周期的正弦信号构成,我们证明了对音频中周期性模式的建模对于提升生成质量至关重要。在单说话人数据集上的主观人类评估(平均意见分,MOS)表明,所提出的方法在生成22.05 kHz高保真音频时,其语音质量接近人类水平,且在单张V100 GPU上运行速度比实时快167.9倍。我们进一步验证了HiFi-GAN在未见说话人mel频谱图逆变换及端到端语音合成任务中的泛化能力。此外,HiFi-GAN的轻量化版本在CPU上生成音频的速度也达到实时的13.4倍,同时保持了与自回归模型相当的生成质量。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供