2 个月前
Noise2Music：基于文本条件的音乐生成扩散模型
Huang, Qingqing ; Park, Daniel S. ; Wang, Tao ; Denk, Timo I. ; Ly, Andy ; Chen, Nanxin ; Zhang, Zhengdong ; Zhang, Zhishuai ; Yu, Jiahui ; Frank, Christian ; Engel, Jesse ; Le, Quoc V. ; Chan, William ; Chen, Zhifeng ; Han, Wei
摘要
我们介绍了Noise2Music，这是一种通过训练一系列扩散模型从文本提示生成高质量30秒音乐片段的技术。该技术采用了两种类型的扩散模型：一种是生成器模型，它根据文本生成中间表示；另一种是级联模型，它在中间表示（以及可能的文本）的条件下生成高保真音频。这两种模型依次训练并使用，以生成高保真音乐。我们探索了两种中间表示的选项：一种使用频谱图，另一种使用低保真音频。研究发现，生成的音频不仅能够忠实地反映文本提示中的关键元素，如流派、节奏、乐器、情绪和时代背景，还能进一步捕捉提示的细粒度语义。预训练的大规模语言模型在这项工作中发挥了关键作用——它们用于为训练集中的音频生成配对文本，并提取扩散模型所摄入的文本提示的嵌入向量。生成示例：https://google-research.github.io/noise2music