EDGE: Editierbare Tanzgenerierung aus Musik

Tanz ist eine wichtige menschliche Kunstform, doch die Erstellung neuer Tänze kann schwierig und zeitaufwendig sein. In dieser Arbeit stellen wir Editable Dance GEneration (EDGE) vor, eine neuartige Methode zur editierbaren Tanzgenerierung, die in der Lage ist, realistische, physikalisch plausibele Tänze zu erzeugen, während sie der Eingabemusik treu bleibt. EDGE nutzt ein auf Transformers basierendes Diffusionsmodell in Kombination mit Jukebox, einem leistungsstarken Musikmerkmalsextrahierer, und verfügt über mächtige Editierfunktionen, die besonders gut für den Tanz geeignet sind, darunter bedingte Generierung auf Gelenkebene und Zwischenstellung (In-betweening). Wir führen eine neue Metrik für physikalische Plausibilität ein und bewerten die Qualität der von unserer Methode generierten Tänze umfassend durch (1) mehrere quantitative Metriken hinsichtlich physikalischer Plausibilität, Schlaggenauigkeit (Beat Alignment) und Vielfalt, sowie vor allem (2) eine groß angelegte Benutzerstudie, die eine signifikante Verbesserung gegenüber vorherigen state-of-the-art-Methoden belegt. Qualitative Beispiele aus unserem Modell finden sich auf unserer Website.