CharacterShot : Animation 4D contrôlable et cohérente de personnages

Dans cet article, nous proposons \textbf{CharacterShot}, un cadre de génération d'animations 4D pour personnages contrôlables et cohérents, permettant à tout concepteur individuel de créer des personnages 3D dynamiques (c’est-à-dire des animations 4D) à partir d’une seule image de référence du personnage et d’une séquence de poses 2D. Nous commençons par pré-entraîner un modèle puissant d’animation 2D basé sur un modèle d’image vers vidéo de pointe fondé sur DiT, capable d’accepter n’importe quelle séquence de poses 2D comme signal de contrôle. Nous élevons ensuite ce modèle de 2D à 3D en introduisant un module à double attention ainsi qu’un prior caméra, permettant de générer des vidéos multi-vues tout en préservant une cohérence spatio-temporelle et spatio-vue. Enfin, nous appliquons une nouvelle optimisation par « gaussian splatting » 4D contrainte par voisinage sur ces vidéos multi-vues, aboutissant à des représentations 4D continues et stables du personnage. Par ailleurs, afin d’améliorer les performances centrées sur le personnage, nous avons construit un grand jeu de données, Character4D, comprenant 13 115 personnages uniques aux apparences et aux mouvements variés, rendus depuis plusieurs points de vue. Des expériences étendues sur notre nouveau benchmark, CharacterBench, démontrent que notre approche surpasser les méthodes de pointe actuelles. Le code, les modèles et les jeux de données seront disponibles publiquement à l’adresse suivante : https://github.com/Jeoyal/CharacterShot.