HyperAIHyperAI

Command Palette

Search for a command to run...

CharacterShot: Steuerbare und konsistente 4D-Charakteranimation

Junyao Gao Jiaxing Li Wenran Liu Yanhong Zeng Fei Shen Kai Chen Yanan Sun Cairong Zhao

Zusammenfassung

In diesem Paper stellen wir \textbf{CharacterShot} vor, einen steuerbaren und konsistenten Rahmen für 4D-Charakteranimation, der es jedem einzelnen Designer ermöglicht, dynamische 3D-Charaktere (d. h. 4D-Charakteranimation) aus einem einzigen Referenzcharakterbild und einer 2D-Pose-Sequenz zu erstellen. Wir beginnen mit der Vortrainierung eines leistungsfähigen 2D-Charakteranimationssystems auf Basis eines modernen DiT-basierten Bild-zu-Video-Modells, das beliebige 2D-Pose-Sequenzen als steuerbare Signale nutzt. Anschließend heben wir das Animationsmodell von 2D auf 3D hinauf, indem wir einen Dual-Attention-Modul sowie eine Kameravorwissen-Information einsetzen, um mehransichtige Videos mit räumlich-zeitlicher und räumlich-sichtbezogener Konsistenz zu generieren. Abschließend wenden wir eine neuartige, auf Nachbarschaftsbeschränkungen basierende Optimierung mittels 4D-Gaußscher Splatting auf diese mehransichtigen Videos an, was kontinuierliche und stabile 4D-Charakterdarstellungen ermöglicht. Darüber hinaus verbessern wir die charakterzentrierte Leistung durch den Aufbau einer großskaligen Datensammlung namens Character4D, die 13.115 einzigartige Charaktere mit vielfältigen Erscheinungsbildern und Bewegungen umfasst, die aus mehreren Blickwinkeln gerendert wurden. Umfangreiche Experimente auf unserem neu aufgebauten Benchmark, CharacterBench, zeigen, dass unser Ansatz gegenwärtige State-of-the-Art-Methoden übertrifft. Der Quellcode, die Modelle und die Datensätze werden öffentlich unter https://github.com/Jeoyal/CharacterShot bereitgestellt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp