HyperAIHyperAI

Command Palette

Search for a command to run...

FILM: Frame Interpolation for Large Motion

Fitsum Reda Janne Kontkanen Eric Tabellion Deqing Sun Caroline Pantofaru Brian Curless

Zusammenfassung

Wir präsentieren einen Frame-Interpolations-Algorithmus, der mehrere Zwischenframes aus zwei Eingabebildern mit großer Zwischenbewegung synthetisiert. Moderne Methoden verwenden mehrere Netzwerke zur Schätzung von Optischem Fluss oder Tiefeninformation sowie ein separates Netzwerk speziell für die Frame-Synthese. Dies ist oft komplex und erfordert seltene Ground-Truth-Daten für optischen Fluss oder Tiefeninformation. In dieser Arbeit stellen wir ein einheitliches, einziges Netzwerk vor, das sich durch einen mehrskaligen Merkmalsextraktor auszeichnet, bei dem die Gewichte an allen Skalen geteilt werden und das ausschließlich aus Frames trainierbar ist. Um scharfe und ansprechende Frames zu erzeugen, schlagen wir vor, unser Netzwerk mit einer Gram-Matrix-Verlustfunktion zu optimieren, die die Korrelationsdifferenz zwischen Merkmalskarten misst. Unser Ansatz übertrifft die State-of-the-Art-Methoden auf dem Xiph-Benchmark mit großer Bewegung. Zudem erzielen wir höhere Bewertungen auf Vimeo-90K, Middlebury und UCF101 im Vergleich zu Methoden, die perceptuelle Verluste verwenden. Wir untersuchen den Einfluss des Gewichteteilens sowie der Trainingsdaten mit zunehmendem Bewegungsumfang. Schließlich demonstrieren wir die Wirksamkeit unseres Modells bei der Synthese von hochwertigen und zeitlich kohärenten Videos auf einem anspruchsvollen Datensatz aus nahezu identischen Fotos. Der Quellcode und vortrainierte Modelle sind unter https://film-net.github.io verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
FILM: Frame Interpolation for Large Motion | Paper | HyperAI