La diffusion du mouvement humain comme prior génératif

Les travaux récents ont démontré le potentiel important des modèles de diffusion débruitants pour la génération de mouvements humains, y compris la capacité text-to-motion. Toutefois, ces méthodes sont limitées par le manque de données d’annotation en mouvement, leur focalisation sur les mouvements à une seule personne, ainsi que par l’absence de contrôle détaillé. Dans cet article, nous introduisons trois formes de composition fondées sur des préconnaissances de diffusion : composition séquentielle, composition parallèle et composition de modèles. Grâce à la composition séquentielle, nous abordons le défi de la génération de séquences longues. Nous proposons DoubleTake, une méthode d’inférence qui permet de générer des animations longues composées de séquences d’intervalles pilotés et de leurs transitions, en utilisant uniquement un modèle pré-entraîné sur des clips courts. En utilisant la composition parallèle, nous montrons des progrès prometteurs vers la génération de mouvements à deux personnes. À partir de deux préconnaissances fixes ainsi que de quelques exemples d’entraînement à deux personnes, nous apprenons un bloc de communication léger, ComMDM, afin de coordonner les interactions entre les deux mouvements générés. Enfin, grâce à la composition de modèles, nous entraînons d’abord des préconnaissances individuelles pour compléter des mouvements réalisant un mouvement prédéfini pour une articulation donnée. Nous introduisons ensuite DiffusionBlending, un mécanisme d’interpolation permettant de combiner efficacement plusieurs tels modèles, afin d’obtenir un contrôle fin et flexible au niveau des articulations et des trajectoires. Nous évaluons ces méthodes de composition à l’aide d’un modèle de diffusion de mouvement disponible en libre-service, et comparons les résultats à ceux obtenus avec des modèles dédiés entraînés spécifiquement pour ces tâches.