HyperAIHyperAI
vor 11 Tagen

CharacterShot: Steuerbare und konsistente 4D-Charakteranimation

Junyao Gao, Jiaxing Li, Wenran Liu, Yanhong Zeng, Fei Shen, Kai Chen, Yanan Sun, Cairong Zhao
CharacterShot: Steuerbare und konsistente 4D-Charakteranimation
Abstract

In diesem Paper stellen wir \textbf{CharacterShot} vor, einen steuerbaren und konsistenten Rahmen für 4D-Charakteranimation, der es jedem einzelnen Designer ermöglicht, dynamische 3D-Charaktere (d. h. 4D-Charakteranimation) aus einem einzigen Referenzcharakterbild und einer 2D-Pose-Sequenz zu erstellen. Wir beginnen mit der Vortrainierung eines leistungsfähigen 2D-Charakteranimationssystems auf Basis eines modernen DiT-basierten Bild-zu-Video-Modells, das beliebige 2D-Pose-Sequenzen als steuerbare Signale nutzt. Anschließend heben wir das Animationsmodell von 2D auf 3D hinauf, indem wir einen Dual-Attention-Modul sowie eine Kameravorwissen-Information einsetzen, um mehransichtige Videos mit räumlich-zeitlicher und räumlich-sichtbezogener Konsistenz zu generieren. Abschließend wenden wir eine neuartige, auf Nachbarschaftsbeschränkungen basierende Optimierung mittels 4D-Gaußscher Splatting auf diese mehransichtigen Videos an, was kontinuierliche und stabile 4D-Charakterdarstellungen ermöglicht. Darüber hinaus verbessern wir die charakterzentrierte Leistung durch den Aufbau einer großskaligen Datensammlung namens Character4D, die 13.115 einzigartige Charaktere mit vielfältigen Erscheinungsbildern und Bewegungen umfasst, die aus mehreren Blickwinkeln gerendert wurden. Umfangreiche Experimente auf unserem neu aufgebauten Benchmark, CharacterBench, zeigen, dass unser Ansatz gegenwärtige State-of-the-Art-Methoden übertrifft. Der Quellcode, die Modelle und die Datensätze werden öffentlich unter https://github.com/Jeoyal/CharacterShot bereitgestellt.