BAMM : Modèle de mouvement autoregressif bidirectionnel

La génération de mouvements humains à partir de texte a été dominée par des modèles de mouvement débruités, soit par diffusion, soit par un processus de masquage génératif. Toutefois, ces modèles présentent des limitations importantes en termes d'utilisabilité, car ils nécessitent une connaissance préalable de la durée du mouvement. En revanche, les modèles de mouvement autoregressifs surmontent cette limitation en prédiction adaptative des extrémités du mouvement, au prix d’une qualité de génération réduite et d’une capacité d’édition limitée. Pour relever ces défis, nous proposons le Bidirectional Autoregressive Motion Model (BAMM), un cadre novateur pour la génération de mouvements à partir de texte. BAMM se compose de deux composants clés : (1) un tokeniseur de mouvement qui transforme les mouvements humains 3D en tokens discrets dans un espace latent, et (2) un transformateur à attention auto-régressive qui prédit de manière autoregressive des tokens aléatoirement masqués grâce à une stratégie hybride de masquage d’attention. En unifiant le modèle de génération par masquage et le modèle autoregressif, BAMM capture des dépendances riches et bidirectionnelles entre les tokens de mouvement, tout en apprenant une application probabiliste des entrées textuelles vers les sorties de mouvement avec une longueur de séquence dynamiquement ajustée. Cette caractéristique permet à BAMM d’atteindre simultanément une haute qualité de génération, une meilleure utilisabilité et une fonctionnalité intégrée d’édition du mouvement. Des expériences étendues sur les jeux de données HumanML3D et KIT-ML démontrent que BAMM surpasse les méthodes actuelles de l’état de l’art, tant sur le plan qualitatif que quantitatif. La page de projet est disponible à l’adresse suivante : https://exitudio.github.io/BAMM-page