HyperAIHyperAI

Command Palette

Search for a command to run...

AI Choreograph: Musikbedingte 3D-Tanzgenerierung mit AIST++

Ruilong Li Shan Yang David A. Ross Angjoo Kanazawa

Zusammenfassung

Wir präsentieren AIST++, ein neues multimodales Datenset mit 3D-Tanzbewegungen und Musik, sowie FACT, ein Full-Attention Cross-modal Transformer-Netzwerk zur Generierung von 3D-Tanzbewegungen bedingt durch Musik. Das vorgestellte AIST++-Datenset umfasst 5,2 Stunden 3D-Tanzbewegungen in 1408 Sequenzen, die 10 verschiedene Tanzgenres abdecken und mit Multi-View-Videos mit bekannten Kameraposen versehen sind – das bislang größte Datenset dieser Art, soweit uns bekannt. Wir zeigen, dass die naive Anwendung von Sequenzmodellen wie Transformers auf dieses Datenset für die Aufgabe der musikbedingten Generierung von 3D-Bewegungen keine zufriedenstellenden 3D-Bewegungen liefert, die gut mit der Eingabemusik korrelieren. Diese Mängel überwinden wir durch wesentliche Änderungen in der Architekturgestaltung und der Überwachung: Der FACT-Modell beinhaltet einen tiefen Cross-Modal-Transformer-Block mit Full-Attention, der darauf trainiert ist, NNN zukünftige Bewegungen vorherzusagen. Wir belegen empirisch, dass diese Veränderungen entscheidende Faktoren für die Generierung langer, realistischer Tanzbewegungssequenzen sind, die gut auf die Eingabemusik abgestimmt sind. Wir führen umfangreiche Experimente auf AIST++ durch, einschließlich Benutzerstudien, bei denen unsere Methode sowohl qualitativ als auch quantitativ gegenübers den jüngsten state-of-the-art-Methoden übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp