FeatureFlow: Robuster Video-Interpolation durch Struktur-zu-Textur-Generierung

Die Video-Interpolation zielt darauf ab, fehlende Bilder zwischen zwei aufeinanderfolgenden Bildern zu synthetisieren. Obwohl bestehende auf optischem Fluss basierende Methoden vielversprechende Ergebnisse erzielt haben, stehen sie weiterhin vor erheblichen Herausforderungen bei der Interpolation komplexer dynamischer Szenen, die etwa Verdeckung (Occlusion), Verschmierung oder plötzliche Helligkeitsänderungen beinhalten. Dies liegt hauptsächlich daran, dass diese Situationen die grundlegenden Annahmen der optischen Flussabschätzung (wie Glattheit und Konsistenz) verletzen können. In dieser Arbeit entwickeln wir einen neuartigen Struktur-zu-Textur-Generierungsansatz, der die Aufgabe der Video-Interpolation in zwei Stufen unterteilt: strukturgeleitete Interpolation und Texturverfeinerung. In der ersten Stufe werden tiefenstrukturbewusste Merkmale eingesetzt, um Merkmalsflüsse zwischen zwei aufeinanderfolgenden Bildern und deren Zwischenresultat vorherzusagen und anschließend das Strukturbild des Zwischenframes zu generieren. In der zweiten Stufe wird auf Basis des erzeugten groben Ergebnisses ein Frame-Texture-Compensator trainiert, um feine Texturen nachzufüllen. Soweit uns bekannt ist, ist dies die erste Arbeit, die direkt das Zwischenbild durch die Mischung tiefer Merkmale generiert. Experimente an Benchmark-Datensätzen sowie an anspruchsvollen Verdeckungsszenen belegen die Überlegenheit des vorgeschlagenen Ansatzes gegenüber aktuellen State-of-the-Art-Methoden. Der Quellcode ist verfügbar unter https://github.com/CM-BF/FeatureFlow.