AI Choreograph: Musikbedingte 3D-Tanzgenerierung mit AIST++

Wir präsentieren AIST++, ein neues multimodales Datenset mit 3D-Tanzbewegungen und Musik, sowie FACT, ein Full-Attention Cross-modal Transformer-Netzwerk zur Generierung von 3D-Tanzbewegungen bedingt durch Musik. Das vorgestellte AIST++-Datenset umfasst 5,2 Stunden 3D-Tanzbewegungen in 1408 Sequenzen, die 10 verschiedene Tanzgenres abdecken und mit Multi-View-Videos mit bekannten Kameraposen versehen sind – das bislang größte Datenset dieser Art, soweit uns bekannt. Wir zeigen, dass die naive Anwendung von Sequenzmodellen wie Transformers auf dieses Datenset für die Aufgabe der musikbedingten Generierung von 3D-Bewegungen keine zufriedenstellenden 3D-Bewegungen liefert, die gut mit der Eingabemusik korrelieren. Diese Mängel überwinden wir durch wesentliche Änderungen in der Architekturgestaltung und der Überwachung: Der FACT-Modell beinhaltet einen tiefen Cross-Modal-Transformer-Block mit Full-Attention, der darauf trainiert ist, $N$ zukünftige Bewegungen vorherzusagen. Wir belegen empirisch, dass diese Veränderungen entscheidende Faktoren für die Generierung langer, realistischer Tanzbewegungssequenzen sind, die gut auf die Eingabemusik abgestimmt sind. Wir führen umfangreiche Experimente auf AIST++ durch, einschließlich Benutzerstudien, bei denen unsere Methode sowohl qualitativ als auch quantitativ gegenübers den jüngsten state-of-the-art-Methoden übertrifft.