Nachbarn-Korrespondenz-Abgleich für flussbasierte Synthese von Videobildern

Die Video-Frame-Synthese, die aus Interpolation und Extrapolation besteht, ist eine zentrale Technik im Bereich der Videobearbeitung, die sich für vielfältige Anwendungsszenarien eignet. Allerdings können die meisten bestehenden Methoden kleine Objekte oder große Bewegungen nur unzureichend verarbeiten, insbesondere in hochauflösenden Videos wie 4K-Videos. Um diese Einschränkungen zu überwinden, stellen wir einen Algorithmus zur Nachbarschafts-Korrespondenz-Abgleichung (Neighbor Correspondence Matching, NCM) für die flussbasierte Frame-Synthese vor. Da der aktuelle Frame im Prozess der Frame-Synthese nicht verfügbar ist, wird der NCM-Algorithmus in einer frame-unabhängigen Weise durchgeführt, um mehrskalige Korrespondenzen in den räumlich-zeitlichen Nachbarschaften jedes Pixels herzustellen. Aufgrund der starken Bewegungsrepräsentationsfähigkeit von NCM schlagen wir zudem eine heterogene Grob-zu-Fein-Schätzung von Zwischenflüssen für die Frame-Synthese vor. Insbesondere ist der Grob-Skalen-Modul darauf ausgelegt, mithilfe der Nachbarschaftskorrespondenzen große Bewegungen zu erfassen, während der Fein-Skalen-Modul rechnerisch effizienter ist und somit den Schätzprozess beschleunigt. Beide Module werden progressiv trainiert, um die Auflösungslücke zwischen dem Trainingsdatensatz und realen Videos zu schließen. Experimentelle Ergebnisse zeigen, dass NCM auf mehreren Benchmarks eine state-of-the-art Leistung erzielt. Darüber hinaus ist NCM in verschiedenen praktischen Anwendungsszenarien, wie beispielsweise der Videokompression, einsetzbar und ermöglicht dort eine verbesserte Leistung.