HyperAIHyperAI

Command Palette

Search for a command to run...

Erster-Ordnungs-Bewegungsmodell für Bildanimation

Aliaksandr Siarohin Stéphane Lathuilière Sergey Tulyakov Elisa Ricci Nicu Sebe

Zusammenfassung

Bildanimation besteht darin, eine Videosequenz zu generieren, sodass ein Objekt in einem Quellbild entsprechend der Bewegung eines Steuervideos animiert wird. Unser Framework löst dieses Problem, ohne jegliche Annotationen oder vorherige Informationen über das spezifische zu animierende Objekt zu benötigen. Sobald das Modell auf einer Menge von Videos trainiert wurde, die Objekte derselben Kategorie darstellen (z. B. Gesichter, menschliche Körper), kann unsere Methode auf jedes beliebige Objekt dieser Klasse angewendet werden. Dazu trennen wir Erscheinungsbild und Bewegungsinformation mittels einer selbstüberwachten Formulierung. Um komplexe Bewegungen zu unterstützen, verwenden wir eine Darstellung, die aus einer Menge gelernter Merkpunkte sowie deren lokalen affinen Transformationen besteht. Ein Generator-Netzwerk modelliert dabei die durch die Zielbewegung entstehenden Verdeckungen und kombiniert das aus dem Quellbild extrahierte Erscheinungsbild mit der aus dem Steuervideo abgeleiteten Bewegung. Unser Framework erzielt die besten Ergebnisse auf diversen Benchmark-Datenbanken und für eine Vielzahl von Objekt-Kategorien. Der Quellcode ist öffentlich verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Erster-Ordnungs-Bewegungsmodell für Bildanimation | Paper | HyperAI