HyperAIHyperAI

Command Palette

Search for a command to run...

EDGE: Editierbare Tanzgenerierung aus Musik

Jonathan Tseng Rodrigo Castellon C. Karen Liu

Zusammenfassung

Tanz ist eine wichtige menschliche Kunstform, doch die Erstellung neuer Tänze kann schwierig und zeitaufwendig sein. In dieser Arbeit stellen wir Editable Dance GEneration (EDGE) vor, eine neuartige Methode zur editierbaren Tanzgenerierung, die in der Lage ist, realistische, physikalisch plausibele Tänze zu erzeugen, während sie der Eingabemusik treu bleibt. EDGE nutzt ein auf Transformers basierendes Diffusionsmodell in Kombination mit Jukebox, einem leistungsstarken Musikmerkmalsextrahierer, und verfügt über mächtige Editierfunktionen, die besonders gut für den Tanz geeignet sind, darunter bedingte Generierung auf Gelenkebene und Zwischenstellung (In-betweening). Wir führen eine neue Metrik für physikalische Plausibilität ein und bewerten die Qualität der von unserer Methode generierten Tänze umfassend durch (1) mehrere quantitative Metriken hinsichtlich physikalischer Plausibilität, Schlaggenauigkeit (Beat Alignment) und Vielfalt, sowie vor allem (2) eine groß angelegte Benutzerstudie, die eine signifikante Verbesserung gegenüber vorherigen state-of-the-art-Methoden belegt. Qualitative Beispiele aus unserem Modell finden sich auf unserer Website.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp