HyperAIHyperAI

Command Palette

Search for a command to run...

BAMM : Modèle de mouvement autoregressif bidirectionnel

Ekkasit Pinyoanuntapong Muhammad Usama Saleem Pu Wang Minwoo Lee Srijan Das Chen Chen

Résumé

La génération de mouvements humains à partir de texte a été dominée par des modèles de mouvement débruités, soit par diffusion, soit par un processus de masquage génératif. Toutefois, ces modèles présentent des limitations importantes en termes d'utilisabilité, car ils nécessitent une connaissance préalable de la durée du mouvement. En revanche, les modèles de mouvement autoregressifs surmontent cette limitation en prédiction adaptative des extrémités du mouvement, au prix d’une qualité de génération réduite et d’une capacité d’édition limitée. Pour relever ces défis, nous proposons le Bidirectional Autoregressive Motion Model (BAMM), un cadre novateur pour la génération de mouvements à partir de texte. BAMM se compose de deux composants clés : (1) un tokeniseur de mouvement qui transforme les mouvements humains 3D en tokens discrets dans un espace latent, et (2) un transformateur à attention auto-régressive qui prédit de manière autoregressive des tokens aléatoirement masqués grâce à une stratégie hybride de masquage d’attention. En unifiant le modèle de génération par masquage et le modèle autoregressif, BAMM capture des dépendances riches et bidirectionnelles entre les tokens de mouvement, tout en apprenant une application probabiliste des entrées textuelles vers les sorties de mouvement avec une longueur de séquence dynamiquement ajustée. Cette caractéristique permet à BAMM d’atteindre simultanément une haute qualité de génération, une meilleure utilisabilité et une fonctionnalité intégrée d’édition du mouvement. Des expériences étendues sur les jeux de données HumanML3D et KIT-ML démontrent que BAMM surpasse les méthodes actuelles de l’état de l’art, tant sur le plan qualitatif que quantitatif. La page de projet est disponible à l’adresse suivante : https://exitudio.github.io/BAMM-page


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
BAMM : Modèle de mouvement autoregressif bidirectionnel | Articles | HyperAI