2 个月前
MusicLM：从文本生成音乐
Agostinelli, Andrea ; Denk, Timo I. ; Borsos, Zalán ; Engel, Jesse ; Verzetti, Mauro ; Caillon, Antoine ; Huang, Qingqing ; Jansen, Aren ; Roberts, Adam ; Tagliasacchi, Marco ; Sharifi, Matt ; Zeghidour, Neil ; Frank, Christian
摘要
我们介绍了MusicLM，这是一种能够从文本描述（如“由失真吉他 riff 伴奏的宁静小提琴旋律”）生成高保真音乐的模型。MusicLM 将条件音乐生成过程视为分层序列到序列建模任务，并以 24 kHz 的采样率生成音乐，且在数分钟内保持一致。我们的实验表明，MusicLM 在音频质量和对文本描述的忠实度方面均优于先前的系统。此外，我们还展示了 MusicLM 可以同时基于文本和旋律进行条件生成，即将口哨声和哼唱的旋律转换为文本标题中描述的风格。为了支持未来的研究，我们公开发布了 MusicCaps 数据集，该数据集包含 5.5 万个音乐-文本对，其中丰富的文本描述由人类专家提供。