MusicLM: Musikgenerierung aus Text

Wir stellen MusicLM vor, ein Modell, das hochwertige Musik aus Textbeschreibungen wie „eine beruhigende Violinmelodie, begleitet von einem verzerrten Gitarrenriff“ erzeugt. MusicLM interpretiert den Prozess der bedingten Musikgenerierung als eine hierarchische Sequenz-zu-Sequenz-Modellierungsaufgabe und erzeugt Musik mit einer Abtastrate von 24 kHz, die über mehrere Minuten konsistent bleibt. Unsere Experimente zeigen, dass MusicLM sowohl in Bezug auf Audioqualität als auch auf die Übereinstimmung mit der Textbeschreibung frühere Systeme übertrifft. Darüber hinaus demonstrieren wir, dass MusicLM sowohl auf Text als auch auf eine Melodie konditioniert werden kann, sodass es gepfiffene und geseufzte Melodien nach dem im Textcaption beschriebenen Stil umwandeln kann. Um zukünftige Forschungen zu unterstützen, veröffentlichen wir MusicCaps öffentlich, einen Datensatz, der aus 5.500 Musik-Text-Paaren besteht und reichhaltige Textbeschreibungen enthält, die von menschlichen Experten bereitgestellt wurden.