Chorégraphie de groupe pilotée par la musique

La chorégraphie pilotée par la musique constitue un problème complexe, aux nombreuses applications industrielles. Récemment, de nombreuses méthodes ont été proposées pour synthétiser des mouvements de danse à partir de musique pour un seul danseur. Toutefois, la génération de mouvements chorégraphiques pour un groupe demeure un défi non résolu. Dans cet article, nous présentons $\rm AIOZ-GDANCE}$, un nouveau jeu de données à grande échelle dédié à la génération chorégraphique de groupe pilotée par la musique. Contrairement aux jeux de données existants, qui ne supportent que la danse individuelle, notre jeu de données inclut des vidéos de danse en groupe, permettant ainsi l’étude de la chorégraphie collective. Nous proposons une méthode d’étiquetage semi-autonome, intégrant un humain dans la boucle, afin d’obtenir des vérités terrain 3D fiables pour notre jeu de données. Ce dernier comprend 16,7 heures de paires musique/mouvement 3D provenant de vidéos prises « dans le monde réel », couvrant 7 styles de danse et 16 genres musicaux. Nous montrons que l’application naïve des techniques de génération de danse individuelle pour créer des chorégraphies de groupe peut entraîner des résultats insatisfaisants, tels que des mouvements incohérents ou des collisions entre danseurs. À partir de notre nouveau jeu de données, nous proposons une nouvelle méthode qui prend en entrée une séquence musicale et un ensemble de positions 3D des danseurs, afin de générer efficacement plusieurs chorégraphies cohérentes au sein du groupe. Nous introduisons également de nouveaux indicateurs d’évaluation pour mesurer la qualité de la danse en groupe, et menons des expériences approfondies afin de démontrer l’efficacité de notre approche. Ce projet facilitera les recherches futures sur la génération de chorégraphies collectives et est disponible à l’adresse suivante : https://aioz-ai.github.io/AIOZ-GDANCE/