Génération de mouvements 3D humains divers et naturels à partir de texte

La génération automatisée de mouvements humains 3D à partir de texte constitue un problème difficile. Les mouvements générés doivent être suffisamment diversifiés pour explorer efficacement l’espace des mouvements fondés sur le texte, et surtout, décrire précisément le contenu des descriptions textuelles fournies. Nous abordons ce problème par une approche en deux étapes : l’échantillonnage de longueur (text2length) et la génération de mouvement (text2motion). L’étape text2length consiste à échantillonner la durée des mouvements à partir d’une fonction de distribution apprise, conditionnée au texte d’entrée. Cette étape est suivie par notre module text2motion, qui utilise un autoencodeur variationnel temporel pour synthétiser une variété de mouvements humains correspondant aux durées échantillonnées. Contrairement à une approche directe basée sur des séquences de poses, nous proposons d’utiliser un « code de snippet de mouvement » comme représentation interne des mouvements, une représentation qui capture les contextes sémantiques locaux des mouvements et qui s’est avérée empiriquement efficace pour produire des mouvements plausibles et fidèles au texte d’entrée. En outre, nous avons construit un grand jeu de données de mouvements humains 3D scénarisés, appelé HumanML3D, comprenant 14 616 clips de mouvements et 44 970 descriptions textuelles. Des expériences empiriques étendues démontrent l’efficacité de notre méthode. Page du projet : https://ericguo5513.github.io/text-to-motion/.