HyperAIHyperAI

Command Palette

Search for a command to run...

AttT2M : Génération de mouvement humain pilotée par le texte avec un mécanisme d’attention multi-perspective

Chongyang Zhong Lei Hu Zihao Zhang Shihong Xia

Résumé

La génération de mouvements humains 3D à partir de descriptions textuelles est devenue un axe de recherche majeur ces dernières années. Elle exige que les mouvements générés soient diversifiés, naturels et strictement conformes à la description textuelle. En raison de la nature complexe spatio-temporelle des mouvements humains, ainsi que des difficultés inhérentes à l’apprentissage des relations multimodales entre le texte et le mouvement, la génération de mouvements pilotée par le texte reste un problème difficile. Pour relever ces défis, nous proposons \textbf{AttT2M}, une méthode en deux étapes reposant sur un mécanisme d’attention multi-perspective : \textbf{attention par partie du corps} et \textbf{attention croisant mouvement et texte à l’échelle globale et locale}. La première met l’accent sur la perspective de l’encodage du mouvement, en intégrant un encodeur spatio-temporel par partie du corps dans un VQ-VAE afin d’apprendre un espace latent discret plus expressif. La seconde, quant à elle, adopte une perspective multimodale, visant à modéliser les relations croisées entre texte et mouvement au niveau de la phrase et au niveau du mot. Le mouvement piloté par le texte est finalement généré à l’aide d’un transformateur générateur. Des expériences étendues menées sur les bases HumanML3D et KIT-ML démontrent que notre méthode surpasser les approches les plus avancées actuelles, tant sur le plan qualitatif que quantitatif, tout en permettant une synthèse fine et une génération d’action à mouvement (action2motion). Le code source est disponible à l’adresse suivante : https://github.com/ZcyMonkey/AttT2M


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp