Erster-Ordnungs-Bewegungsmodell für Bildanimation

Bildanimation besteht darin, eine Videosequenz zu generieren, sodass ein Objekt in einem Quellbild entsprechend der Bewegung eines Steuervideos animiert wird. Unser Framework löst dieses Problem, ohne jegliche Annotationen oder vorherige Informationen über das spezifische zu animierende Objekt zu benötigen. Sobald das Modell auf einer Menge von Videos trainiert wurde, die Objekte derselben Kategorie darstellen (z. B. Gesichter, menschliche Körper), kann unsere Methode auf jedes beliebige Objekt dieser Klasse angewendet werden. Dazu trennen wir Erscheinungsbild und Bewegungsinformation mittels einer selbstüberwachten Formulierung. Um komplexe Bewegungen zu unterstützen, verwenden wir eine Darstellung, die aus einer Menge gelernter Merkpunkte sowie deren lokalen affinen Transformationen besteht. Ein Generator-Netzwerk modelliert dabei die durch die Zielbewegung entstehenden Verdeckungen und kombiniert das aus dem Quellbild extrahierte Erscheinungsbild mit der aus dem Steuervideo abgeleiteten Bewegung. Unser Framework erzielt die besten Ergebnisse auf diversen Benchmark-Datenbanken und für eine Vielzahl von Objekt-Kategorien. Der Quellcode ist öffentlich verfügbar.