Command Palette
Search for a command to run...
Wan-Animate: Einheitliche Charakteranimation und Ersetzung durch umfassende Replikation
Wan-Animate: Einheitliche Charakteranimation und Ersetzung durch umfassende Replikation
Zusammenfassung
Wir stellen Wan-Animate vor, einen einheitlichen Rahmen für die Charakteranimation und -ersetzung. Gegeben ein Charakterbild und ein Referenzvideo kann Wan-Animate den Charakter präzise animieren, indem er die Ausdrücke und Bewegungen des Charakters im Video exakt nachbildet, um hochqualitative Charaktervideos zu generieren. Alternativ kann das animierte Charakterbild auch in das Referenzvideo integriert werden, um den ursprünglichen Charakter zu ersetzen, wobei die Lichtverhältnisse und Farbtonlage der Szene repliziert werden, um eine nahtlose Umgebungseinbindung zu erreichen. Wan-Animate basiert auf dem Wan-Modell. Um es für Aufgaben der Charakteranimation anzupassen, verwenden wir eine modifizierte Eingabeparametrisierung, um zwischen Referenzbedingungen und Generierungsregionen zu unterscheiden. Diese Architektur vereint mehrere Aufgaben in einer gemeinsamen symbolischen Darstellung. Wir nutzen räumlich ausgerichtete Skelett-Signale zur Nachbildung von Körperbewegungen und implizite Gesichtsmerkmale, die aus Quellbildern extrahiert werden, zur Reenactment von Ausdrücken, wodurch die Generierung von Charaktervideos mit hoher Kontrollierbarkeit und Ausdruckskraft ermöglicht wird. Darüber hinaus entwickeln wir zur Verbesserung der Umgebungseinbindung bei der Charakterersetzung ein zusätzliches Relighting-LoRA-Modul. Dieses Modul bewahrt die konsistente Erscheinung des Charakters, während es die entsprechenden Umgebungsbeleuchtung und Farbtonlage anwendet. Experimentelle Ergebnisse zeigen, dass Wan-Animate eine state-of-the-art-Leistung erzielt. Wir sind bestrebt, die Modellgewichte und den Quellcode öffentlich zugänglich zu machen.