Puppeteer : Animer et contrôler vos modèles 3D

Les applications interactives modernes exigent de plus en plus des contenus 3D dynamiques, mais la transformation de modèles 3D statiques en ressources animées constitue un goulot d’étranglement majeur dans les chaînes de création de contenu. Bien que les progrès récents des IA génératives aient révolutionné la création de modèles 3D statiques, le montage (rigging) et l’animation demeurent fortement dépendants de l’intervention d’experts. Nous présentons Puppeteer, un cadre complet qui aborde à la fois le montage automatique et l’animation pour une large diversité d’objets 3D. Notre système prédit d’abord des structures squelettiques plausibles grâce à un modèle transformer auto-régressif introduisant une stratégie de tokenisation basée sur les articulations pour une représentation compacte, ainsi qu’une méthodologie d’ordonnancement hiérarchique avec perturbation stochastique, qui améliore les capacités d’apprentissage bidirectionnel. Il infère ensuite les poids d’enveloppement (skinning weights) à l’aide d’une architecture fondée sur l’attention, intégrant une attention articulaire consciente de la topologie qui encode explicitement les relations entre articulations en fonction des distances dans le graphe squelettique. Enfin, nous complétons ces avancées en montage par une chaîne d’animation basée sur une optimisation différentiable, capable de générer des animations stables et de haute fidélité, tout en étant plus efficace sur le plan computationnel que les approches existantes. Des évaluations étendues sur plusieurs benchmarks démontrent que notre méthode surpasse significativement les techniques de pointe en termes de précision de prédiction squelettique et de qualité d’enveloppement. Le système traite robustement une grande variété de contenus 3D, allant des ressources de jeux professionnellement conçues aux formes générées par IA, produisant des animations cohérentes dans le temps et éliminant les problèmes de sursauts fréquents dans les méthodes actuelles.