HyperAIHyperAI

Command Palette

Search for a command to run...

TangoFlux:基于流匹配和Clap排名偏好优化的超快速且高保真文本到音频生成

Chia-Yu Hung Navonil Majumder Zhifeng Kong Ambuj Mehrish Rafael Valle Bryan Catanzaro Soujanya Poria

摘要

我们介绍了一种名为TangoFlux的高效文本转音频(TTA)生成模型,该模型拥有5.15亿参数,能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1 kHz音频。在对齐TTA模型时,一个关键挑战在于创建偏好对的难度,因为TTA缺乏像大型语言模型(LLMs)中可用的可验证奖励或黄金标准答案这样的结构化机制。为了解决这一问题,我们提出了一种新的框架——CLAP排名偏好优化(CRPO),该框架通过迭代生成和优化偏好数据来提升TTA模型的对齐效果。我们证明了使用CRPO生成的音频偏好数据集优于现有的替代方案。借助这一框架,TangoFlux在客观和主观基准测试中均达到了最先进的性能。我们开源了所有代码和模型,以支持TTA生成领域的进一步研究。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供