Abstract

Wir stellen Wan-Animate vor, einen einheitlichen Rahmen für die Charakteranimation und -ersetzung. Gegeben ein Charakterbild und ein Referenzvideo kann Wan-Animate den Charakter präzise anhand der Ausdrücke und Bewegungen im Video animieren, um hochfidelitätsreiche Charaktervideos zu generieren. Alternativ lässt sich der animierte Charakter nahtlos in das Referenzvideo integrieren, um den ursprünglichen Charakter zu ersetzen, wobei die Beleuchtung und Farbtonlage der Szene exakt repliziert werden, um eine reibungslose Umgebungsintegration zu gewährleisten. Wan-Animate basiert auf dem Wan-Modell. Um es für Aufgaben der Charakteranimation anzupassen, verwenden wir eine modifizierte Eingabeparametrisierung, um zwischen Referenzbedingungen und Generierungsregionen zu unterscheiden. Diese Architektur vereint mehrere Aufgaben in einer gemeinsamen symbolischen Darstellung. Mittels räumlich ausgerichteter Skelett-Signale wird die Körperbewegung repliziert, während implizite Gesichtsmerkmale, die aus den Quellbildern extrahiert werden, zur Nachahmung von Ausdrücken genutzt werden. Dadurch gelingt die Erzeugung von Charaktervideos mit hoher Steuerbarkeit und Ausdruckskraft. Zudem entwickeln wir zur Verbesserung der Umgebungsinintegration bei der Charakterersetzung ein ergänzendes Relighting-LoRA-Modul. Dieses bewahrt die konsistente Erscheinung des Charakters und passt gleichzeitig die Umgebungsbeleuchtung und Farbtonlage entsprechend an. Experimentelle Ergebnisse zeigen, dass Wan-Animate Leistungen auf aktuell höchstem Niveau erzielt. Wir sind verpflichtet, die Modellgewichte sowie den Quellcode offen zu legen.