Musikgetriebene Gruppenchoreografie

Musikgetriebene Choreografie ist ein anspruchsvolles Problem mit einer Vielzahl industrieller Anwendungen. In jüngster Zeit wurden zahlreiche Methoden vorgeschlagen, um Tanzbewegungen für einen einzelnen Tänzer aus Musik zu synthetisieren. Die Generierung von Tanzbewegungen für Gruppen bleibt jedoch weiterhin eine offene Herausforderung. In diesem Artikel stellen wir $\rm AIOZ-GDANCE$ vor, eine neue, großskalige Datensammlung für die musikgetriebene Gruppentanzgenerierung. Im Gegensatz zu bestehenden Datensätzen, die lediglich Einzeltänze unterstützen, enthält unsere neue Datensammlung Videos von Gruppentänzen und ermöglicht somit die Untersuchung von Gruppenchoreografien. Wir entwickeln eine semi-autonome Beschriftungsmethode mit menschlichem Eingriff im Schleifenprozess, um die 3D-Referenzwerte für unsere Datensammlung zu ermitteln. Der vorgestellte Datensatz umfasst 16,7 Stunden synchronisierte Musik- und 3D-Bewegungsdaten aus in-the-wild-Videos und deckt sieben Tanzstile sowie 16 Musikgenres ab. Wir zeigen, dass die naive Anwendung von Techniken zur Einzeltanzgenerierung zur Erzeugung von Gruppentänzen zu unzufriedenstellenden Ergebnissen führen kann, beispielsweise aufgrund inkonsistenter Bewegungen oder Kollisionen zwischen den Tänzern. Auf Basis unserer neuen Datensammlung entwickeln wir eine neue Methode, die eine Eingabemusiksequenz sowie eine Menge von 3D-Positionen der Tänzer verarbeitet, um effizient mehrere kohärente Gruppentanzchoreografien zu generieren. Zudem schlagen wir neue Bewertungsmetriken zur Messung der Qualität von Gruppentänzen vor und führen umfangreiche Experimente durch, um die Wirksamkeit unserer Methode zu belegen. Unser Projekt erleichtert zukünftige Forschungsarbeiten im Bereich der Gruppentanzgenerierung und ist unter folgender Adresse zugänglich: https://aioz-ai.github.io/AIOZ-GDANCE/