Bailando : Génération 3D de danse par un GPT à critique d’acteur doté d’une mémoire chorégraphique

Faire danser des personnages 3D en suivant une pièce musicale est extrêmement difficile en raison des contraintes spatiales imposées aux postures par les normes chorégraphiques. En outre, la séquence de danse générée doit également préserver une cohérence temporelle adéquate avec divers genres musicaux. Pour relever ces défis, nous proposons un nouveau cadre musical vers la danse, baptisé Bailando, composé de deux composants puissants : 1) une mémoire chorégraphique qui apprend à résumer des unités de danse significatives issues d'une séquence de poses 3D vers un codebook quantifié ; 2) un modèle GPT (Générateur Pré-entraîné Transformer) à architecture acteur-critique, capable de composer ces unités en une danse fluide et cohérente avec la musique. Grâce à la mémoire chorégraphique apprise, la génération de danse s'effectue sur des unités quantifiées respectant des normes chorégraphiques élevées, garantissant ainsi que les séquences de danse générées restent dans les limites des contraintes spatiales. Pour assurer une synchronisation précise entre les tempos de mouvement variés et les battements musicaux, nous introduisons une méthode d'apprentissage par renforcement basée sur l'acteur-critique au sein du GPT, accompagnée d'une nouvelle fonction de récompense d'alignement sur les battements. Des expériences étendues sur une base de référence standard montrent que notre cadre proposé atteint des performances de pointe, tant du point de vue qualitatif que quantitatif. Notamment, la mémoire chorégraphique apprise est capable de découvrir, de manière non supervisée, des poses de danse interprétables par l’humain, reflétant des styles chorégraphiques caractéristiques.