HyperAIHyperAI

Command Palette

Search for a command to run...

Einfache und steuerbare Musikgenerierung

Jade Copet Felix Kreuk Itai Gat Tal Remez David Kant Gabriel Synnaeve Yossi Adi Alexandre Défossez

Zusammenfassung

Wir greifen die Aufgabe der bedingten Musikgenerierung an. Wir stellen MusicGen vor, ein einzelnes Sprachmodell (LM), das über mehrere Ströme einer komprimierten diskreten Musikdarstellung, d.h. Tokens, operiert. Im Gegensatz zu früheren Arbeiten besteht MusicGen aus einem einstufigen Transformer-Sprachmodell zusammen mit effizienten Token-Interleaving-Mustern, was die Notwendigkeit, mehrere Modelle kaskadenartig oder durch Upsampling zu verketten, beseitigt. Mit diesem Ansatz zeigen wir, wie MusicGen hochwertige Mono- und Stereo-Stichproben generieren kann, während es auf textuelle Beschreibungen oder melodische Merkmale konditioniert wird, was eine bessere Kontrolle über die generierte Ausgabe ermöglicht. Wir führen umfangreiche empirische Evaluierungen durch, wobei sowohl automatische als auch menschliche Studien berücksichtigt werden, und zeigen, dass der vorgeschlagene Ansatz bei einem Standard-Benchmark für Text-zu-Musik-Generierung den evaluierten Baselines überlegen ist. Durch Ablationsstudien beleuchten wir die Bedeutung jeder Komponente von MusicGen. Musikstichproben, Code und Modelle sind unter https://github.com/facebookresearch/audiocraft verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp