EDGE : Génération de danse éditable à partir de musique

La danse est une forme artistique humaine importante, mais la création de nouvelles chorégraphies peut s’avérer difficile et longue. Dans ce travail, nous introduisons EDGE (Editable Dance GEneration), une méthode de pointe pour la génération de danses éditables, capable de produire des mouvements danseurs réalistes et physiquement plausibles tout en restant fidèle à la musique d’entrée. EDGE repose sur un modèle de diffusion basé sur les transformateurs, couplé à Jukebox, un extracteur de caractéristiques musicales puissant, et offre des capacités d’édition avancées particulièrement adaptées à la danse, notamment une conditionnement par joint (articulation), ainsi que la génération d’images intermédiaires (in-betweening). Nous proposons une nouvelle métrique pour évaluer la plausibilité physique, et évaluons de manière approfondie la qualité des danses générées par notre méthode à travers (1) plusieurs métriques quantitatives évaluant la plausibilité physique, l’alignement sur le tempo et la diversité, et surtout (2) une étude utilisateur à grande échelle, démontrant une amélioration significative par rapport aux méthodes de pointe précédentes. Des exemples qualitatifs issus de notre modèle sont disponibles sur notre site web.