FILM: Frame Interpolation for Large Motion

Wir präsentieren einen Frame-Interpolations-Algorithmus, der mehrere Zwischenframes aus zwei Eingabebildern mit großer Zwischenbewegung synthetisiert. Moderne Methoden verwenden mehrere Netzwerke zur Schätzung von Optischem Fluss oder Tiefeninformation sowie ein separates Netzwerk speziell für die Frame-Synthese. Dies ist oft komplex und erfordert seltene Ground-Truth-Daten für optischen Fluss oder Tiefeninformation. In dieser Arbeit stellen wir ein einheitliches, einziges Netzwerk vor, das sich durch einen mehrskaligen Merkmalsextraktor auszeichnet, bei dem die Gewichte an allen Skalen geteilt werden und das ausschließlich aus Frames trainierbar ist. Um scharfe und ansprechende Frames zu erzeugen, schlagen wir vor, unser Netzwerk mit einer Gram-Matrix-Verlustfunktion zu optimieren, die die Korrelationsdifferenz zwischen Merkmalskarten misst. Unser Ansatz übertrifft die State-of-the-Art-Methoden auf dem Xiph-Benchmark mit großer Bewegung. Zudem erzielen wir höhere Bewertungen auf Vimeo-90K, Middlebury und UCF101 im Vergleich zu Methoden, die perceptuelle Verluste verwenden. Wir untersuchen den Einfluss des Gewichteteilens sowie der Trainingsdaten mit zunehmendem Bewegungsumfang. Schließlich demonstrieren wir die Wirksamkeit unseres Modells bei der Synthese von hochwertigen und zeitlich kohärenten Videos auf einem anspruchsvollen Datensatz aus nahezu identischen Fotos. Der Quellcode und vortrainierte Modelle sind unter https://film-net.github.io verfügbar.