TangoFlux：基于流匹配和Clap排名偏好优化的超快速且高保真文本到音频生成

我们介绍了一种名为TangoFlux的高效文本转音频（TTA）生成模型，该模型拥有5.15亿参数，能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1 kHz音频。在对齐TTA模型时，一个关键挑战在于创建偏好对的难度，因为TTA缺乏像大型语言模型（LLMs）中可用的可验证奖励或黄金标准答案这样的结构化机制。为了解决这一问题，我们提出了一种新的框架——CLAP排名偏好优化（CRPO），该框架通过迭代生成和优化偏好数据来提升TTA模型的对齐效果。我们证明了使用CRPO生成的音频偏好数据集优于现有的替代方案。借助这一框架，TangoFlux在客观和主观基准测试中均达到了最先进的性能。我们开源了所有代码和模型，以支持TTA生成领域的进一步研究。