HyperAIHyperAI

Command Palette

Search for a command to run...

FeatureFlow: Robuster Video-Interpolation durch Struktur-zu-Textur-Generierung

Dacheng Tao Qihua Chen Chaoyue Wang Shurui Gui

Zusammenfassung

Die Video-Interpolation zielt darauf ab, fehlende Bilder zwischen zwei aufeinanderfolgenden Bildern zu synthetisieren. Obwohl bestehende auf optischem Fluss basierende Methoden vielversprechende Ergebnisse erzielt haben, stehen sie weiterhin vor erheblichen Herausforderungen bei der Interpolation komplexer dynamischer Szenen, die etwa Verdeckung (Occlusion), Verschmierung oder plötzliche Helligkeitsänderungen beinhalten. Dies liegt hauptsächlich daran, dass diese Situationen die grundlegenden Annahmen der optischen Flussabschätzung (wie Glattheit und Konsistenz) verletzen können. In dieser Arbeit entwickeln wir einen neuartigen Struktur-zu-Textur-Generierungsansatz, der die Aufgabe der Video-Interpolation in zwei Stufen unterteilt: strukturgeleitete Interpolation und Texturverfeinerung. In der ersten Stufe werden tiefenstrukturbewusste Merkmale eingesetzt, um Merkmalsflüsse zwischen zwei aufeinanderfolgenden Bildern und deren Zwischenresultat vorherzusagen und anschließend das Strukturbild des Zwischenframes zu generieren. In der zweiten Stufe wird auf Basis des erzeugten groben Ergebnisses ein Frame-Texture-Compensator trainiert, um feine Texturen nachzufüllen. Soweit uns bekannt ist, ist dies die erste Arbeit, die direkt das Zwischenbild durch die Mischung tiefer Merkmale generiert. Experimente an Benchmark-Datensätzen sowie an anspruchsvollen Verdeckungsszenen belegen die Überlegenheit des vorgeschlagenen Ansatzes gegenüber aktuellen State-of-the-Art-Methoden. Der Quellcode ist verfügbar unter https://github.com/CM-BF/FeatureFlow.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
FeatureFlow: Robuster Video-Interpolation durch Struktur-zu-Textur-Generierung | Paper | HyperAI