HyperAIHyperAI

Command Palette

Search for a command to run...

Fg-T2M : Génération fine de mouvements humains pilotés par le texte via un modèle de diffusion

Yin Wang Zhiying Leng Frederick W. B. Li Shun-Cheng Wu Xiaohui Liang

Résumé

La génération de mouvements humains pilotés par texte en vision par ordinateur est à la fois significative et complexe. Toutefois, les méthodes actuelles sont limitées à la production de séquences de mouvement soit déterministes, soit imprécises, et échouent à contrôler efficacement les relations temporelles et spatiales nécessaires pour s’aligner sur une description textuelle donnée. Dans ce travail, nous proposons une méthode fine pour générer des séquences de mouvement humain conditionnelles de haute qualité, permettant une description textuelle précise. Notre approche repose sur deux composants clés : 1) un module assisté par la structure linguistique, qui construit des caractéristiques linguistiques précises et complètes afin d’exploiter pleinement l’information textuelle ; et 2) un module de raisonnement progressif conscient du contexte, qui apprend des caractéristiques sémantiques linguistiques locales et globales à partir de réseaux de neurones graphiques à différentes profondeurs, afin d’atteindre une inférence multi-étapes. Les expériences montrent que notre méthode surpasser les approches existantes de génération de mouvement pilotée par texte sur les jeux de données HumanML3D et KIT, et produit des mouvements visuellement plus conformes aux conditions textuelles.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp