HyperAIHyperAI

Command Palette

Search for a command to run...

Bewegungsrepräsentationen für bewegliche Animation

Aliaksandr Siarohin Oliver J. Woodford Jian Ren Menglei Chai Sergey Tulyakov

Zusammenfassung

Wir schlagen neue Bewegungsrepräsentationen für die Animation von Gegenständen mit mehreren getrennten Teilen vor. In einer vollständig unsupervisierten Weise identifiziert unsere Methode die einzelnen Objektteile, verfolgt sie in einem Treiber-Video und schließt deren Bewegungen unter Berücksichtigung ihrer Hauptachsen ab. Im Gegensatz zu früheren auf Schlüsselpunkten basierenden Ansätzen extrahiert unsere Methode sinnvolle und konsistente Regionen, die Ortsangaben, Form und Pose beschreiben. Diese Regionen entsprechen semantisch relevanten und deutlich voneinander abgrenzbaren Objektteilen, die in den Frames des Treiber-Videos leichter detektiert werden können. Um eine Entkoppelung von Vordergrund und Hintergrund zu erzwingen, modellieren wir objektunabhängige globale Bewegungen mittels einer zusätzlichen affinen Transformation. Um die Animation zu erleichtern und das Eindringen der Form des Treiber-Objekts zu verhindern, entkoppeln wir in dem Regionenraum Form und Pose des Objekts. Unser Modell kann eine Vielzahl von Objekten animieren und erreicht auf bestehenden Benchmarks eine deutlich bessere Leistung als frühere Methoden. Wir präsentieren ein anspruchsvolles neues Benchmark mit hochauflösenden Videos und zeigen, dass die Verbesserung insbesondere bei beweglichen Objekten besonders ausgeprägt ist, wobei ein Nutzerpräferenzwert von 96,6 % gegenüber dem Stand der Technik erreicht wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp