MusicLM : Génération de musique à partir de texte

Nous présentons MusicLM, un modèle capable de générer de la musique haute fidélité à partir de descriptions textuelles telles que « une mélodie apaisante de violon soutenue par un riff de guitare saturé ». MusicLM considère le processus de génération conditionnelle de musique comme une tâche de modélisation séquentielle hiérarchique et génère de la musique à 24 kHz qui reste cohérente sur plusieurs minutes. Nos expériences montrent que MusicLM surpasse les systèmes précédents tant en qualité audio qu'en adéquation avec la description textuelle. De plus, nous démontrons que MusicLM peut être conditionné par du texte et une mélodie, permettant ainsi de transformer des mélodies sifflées et fredonnées selon le style décrit dans une légende textuelle. Pour soutenir les recherches futures, nous mettons publiquement à disposition MusicCaps, un ensemble de données composé de 5 500 paires musique-texte, avec des descriptions textuelles riches fournies par des experts humains.