HyperAIHyperAI

Command Palette

Search for a command to run...

CharacterShot : Animation 4D contrôlable et cohérente de personnages

Junyao Gao Jiaxing Li Wenran Liu Yanhong Zeng Fei Shen Kai Chen Yanan Sun Cairong Zhao

Résumé

Dans cet article, nous proposons \textbf{CharacterShot}, un cadre de génération d'animations 4D pour personnages contrôlables et cohérents, permettant à tout concepteur individuel de créer des personnages 3D dynamiques (c’est-à-dire des animations 4D) à partir d’une seule image de référence du personnage et d’une séquence de poses 2D. Nous commençons par pré-entraîner un modèle puissant d’animation 2D basé sur un modèle d’image vers vidéo de pointe fondé sur DiT, capable d’accepter n’importe quelle séquence de poses 2D comme signal de contrôle. Nous élevons ensuite ce modèle de 2D à 3D en introduisant un module à double attention ainsi qu’un prior caméra, permettant de générer des vidéos multi-vues tout en préservant une cohérence spatio-temporelle et spatio-vue. Enfin, nous appliquons une nouvelle optimisation par « gaussian splatting » 4D contrainte par voisinage sur ces vidéos multi-vues, aboutissant à des représentations 4D continues et stables du personnage. Par ailleurs, afin d’améliorer les performances centrées sur le personnage, nous avons construit un grand jeu de données, Character4D, comprenant 13 115 personnages uniques aux apparences et aux mouvements variés, rendus depuis plusieurs points de vue. Des expériences étendues sur notre nouveau benchmark, CharacterBench, démontrent que notre approche surpasser les méthodes de pointe actuelles. Le code, les modèles et les jeux de données seront disponibles publiquement à l’adresse suivante : https://github.com/Jeoyal/CharacterShot.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp