AnimaX : Animer l'inanimé en 3D avec des modèles de diffusion vidéo-pose conjointe

Nous présentons AnimaX, un cadre de 3D animation à alimentation directe qui établit un pont entre les a priori de mouvement des modèles de diffusion vidéo et la structure contrôlable de l'animation basée sur le squelette. Les méthodes traditionnelles de synthèse de mouvement sont soit limitées aux topologies squelettiques fixes, soit nécessitent une optimisation coûteuse dans des espaces de déformation à haute dimension. En revanche, AnimaX transfère efficacement les connaissances sur le mouvement basées sur la vidéo au domaine 3D, en soutenant divers maillages articulés avec des squelettes arbitraires. Notre méthode représente le mouvement 3D sous forme de cartes de pose 2D multivues et multiframes, et permet une diffusion conjointe vidéo-pose conditionnée par des rendus modèles et une indication textuelle du mouvement. Nous introduisons des encodages positionnels partagés et des plongements sensibles à la modalité pour assurer l'alignement spatio-temporel entre les séquences vidéo et pose, transférant ainsi efficacement les a priori vidéo à la tâche de génération de mouvement. Les séquences de pose multivues résultantes sont triangulées en positions articulaires 3D et converties en animation maillée via cinématique inverse. Formé sur un nouveau ensemble de données curatif contenant 160 000 séquences riggées, AnimaX obtient des résultats d'état de l'art sur VBench en termes de généralisation, fidélité du mouvement et efficacité, offrant une solution évolutrice pour l'animation 3D indifférente aux catégories. Page du projet : https://anima-x.github.io/{https://anima-x.github.io/}.