HyperAIHyperAI

Command Palette

Search for a command to run...

Wan-Animate: Einheitliche Charakteranimation und Ersetzung durch umfassende Replikation

Zusammenfassung

Wir stellen Wan-Animate vor, einen einheitlichen Rahmen für die Charakteranimation und -ersetzung. Gegeben ein Charakterbild und ein Referenzvideo kann Wan-Animate den Charakter präzise animieren, indem er die Ausdrücke und Bewegungen des Charakters im Video exakt nachbildet, um hochqualitative Charaktervideos zu generieren. Alternativ kann das animierte Charakterbild auch in das Referenzvideo integriert werden, um den ursprünglichen Charakter zu ersetzen, wobei die Lichtverhältnisse und Farbtonlage der Szene repliziert werden, um eine nahtlose Umgebungseinbindung zu erreichen. Wan-Animate basiert auf dem Wan-Modell. Um es für Aufgaben der Charakteranimation anzupassen, verwenden wir eine modifizierte Eingabeparametrisierung, um zwischen Referenzbedingungen und Generierungsregionen zu unterscheiden. Diese Architektur vereint mehrere Aufgaben in einer gemeinsamen symbolischen Darstellung. Wir nutzen räumlich ausgerichtete Skelett-Signale zur Nachbildung von Körperbewegungen und implizite Gesichtsmerkmale, die aus Quellbildern extrahiert werden, zur Reenactment von Ausdrücken, wodurch die Generierung von Charaktervideos mit hoher Kontrollierbarkeit und Ausdruckskraft ermöglicht wird. Darüber hinaus entwickeln wir zur Verbesserung der Umgebungseinbindung bei der Charakterersetzung ein zusätzliches Relighting-LoRA-Modul. Dieses Modul bewahrt die konsistente Erscheinung des Charakters, während es die entsprechenden Umgebungsbeleuchtung und Farbtonlage anwendet. Experimentelle Ergebnisse zeigen, dass Wan-Animate eine state-of-the-art-Leistung erzielt. Wir sind bestrebt, die Modellgewichte und den Quellcode öffentlich zugänglich zu machen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp