HyperAIHyperAI

Command Palette

Search for a command to run...

Agissez comme vous le souhaitez : contrôle fine des modèles de diffusion de mouvement à l’aide de graphes sémantiques hiérarchiques

Résumé

La plupart des méthodes de génération de mouvement humain basées sur le texte reposent sur des approches de modélisation séquentielle, telles que les transformateurs, afin d’extraire automatiquement et implicitement des représentations textuelles au niveau de la phrase pour la synthèse du mouvement humain. Toutefois, ces représentations textuelles compactes peuvent suraccentuer les noms d’actions au détriment d’autres propriétés importantes, tout en manquant de détails fins nécessaires pour guider la synthèse de mouvements subtilement distincts. Dans cet article, nous proposons des graphes sémantiques hiérarchiques afin d’obtenir un contrôle fine-grained sur la génération du mouvement. Plus précisément, nous décomposons les descriptions de mouvement en graphes sémantiques hiérarchiques comprenant trois niveaux : mouvements globaux, actions et détails spécifiques. Cette structure de global à local facilite une compréhension complète de la description du mouvement et permet un contrôle précis de sa génération. En conséquence, afin d’exploiter la topologie de coarse-to-fine des graphes sémantiques hiérarchiques, nous décomposons le processus de diffusion texte-vers-mouvement en trois niveaux sémantiques, correspondant respectivement à la capture du mouvement global, des actions locales et des spécificités d’action. Des expériences étendues sur deux jeux de données de référence en génération de mouvement humain — HumanML3D et KIT — montrent des performances supérieures, validant ainsi l’efficacité de notre méthode. Plus encourageant encore, en modifiant les poids des arêtes des graphes sémantiques hiérarchiques, notre approche permet de raffiner de manière continue le mouvement généré, ce qui pourrait avoir un impact profond sur la communauté. Le code source et les poids pré-entraînés sont disponibles à l’adresse suivante : https://github.com/jpthu17/GraphMotion.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp