Agissez comme vous le souhaitez : contrôle fine des modèles de diffusion de mouvement à l’aide de graphes sémantiques hiérarchiques

La plupart des méthodes de génération de mouvement humain basées sur le texte reposent sur des approches de modélisation séquentielle, telles que les transformateurs, afin d’extraire automatiquement et implicitement des représentations textuelles au niveau de la phrase pour la synthèse du mouvement humain. Toutefois, ces représentations textuelles compactes peuvent suraccentuer les noms d’actions au détriment d’autres propriétés importantes, tout en manquant de détails fins nécessaires pour guider la synthèse de mouvements subtilement distincts. Dans cet article, nous proposons des graphes sémantiques hiérarchiques afin d’obtenir un contrôle fine-grained sur la génération du mouvement. Plus précisément, nous décomposons les descriptions de mouvement en graphes sémantiques hiérarchiques comprenant trois niveaux : mouvements globaux, actions et détails spécifiques. Cette structure de global à local facilite une compréhension complète de la description du mouvement et permet un contrôle précis de sa génération. En conséquence, afin d’exploiter la topologie de coarse-to-fine des graphes sémantiques hiérarchiques, nous décomposons le processus de diffusion texte-vers-mouvement en trois niveaux sémantiques, correspondant respectivement à la capture du mouvement global, des actions locales et des spécificités d’action. Des expériences étendues sur deux jeux de données de référence en génération de mouvement humain — HumanML3D et KIT — montrent des performances supérieures, validant ainsi l’efficacité de notre méthode. Plus encourageant encore, en modifiant les poids des arêtes des graphes sémantiques hiérarchiques, notre approche permet de raffiner de manière continue le mouvement généré, ce qui pourrait avoir un impact profond sur la communauté. Le code source et les poids pré-entraînés sont disponibles à l’adresse suivante : https://github.com/jpthu17/GraphMotion.