Verbesserte Korrelationsübereinstimmungsbasierte Videoframe-Interpolation

Wir stellen einen neuartigen DNN-basierten Ansatz namens Enhanced Correlation Matching based Video Frame Interpolation Network vor, der hochauflösende Videos mit Auflösungen wie 4K unterstützen kann und dabei große Bewegungsbereiche sowie Okklusionen berücksichtigt. Angesichts der Skalierbarkeit des Netzwerkmodells in Bezug auf die Bildauflösung setzt der vorgeschlagene Ansatz eine rekursive Pyramidenarchitektur ein, bei der die Parameter zwischen den einzelnen Pyramidenstufen gemeinsam genutzt werden, um den optischen Fluss zu schätzen. In der vorgeschlagenen Flussabschätzung werden die optischen Flüsse rekursiv durch Nachverfolgung der Position mit maximaler Korrelation verfeinert. Die auf Vorwärtsverzerrung basierende Korrelationsübereinstimmung ermöglicht eine verbesserte Genauigkeit der Flussaktualisierung, indem fehlerhaft verzerrte Merkmale in der Nähe von Okklusionsbereichen ausgeschlossen werden. Auf Basis der endgültigen bidirektionalen Flüsse wird der Zwischenframe an einer beliebigen zeitlichen Position mittels eines Verzerrungs- und Mischungsnetzwerks synthetisiert und anschließend durch ein Nachverfeinerungsnetzwerk weiter verbessert. Experimentelle Ergebnisse zeigen, dass der vorgeschlagene Ansatz sowohl bei 4K-Videodaten als auch bei Benchmark-Datensätzen mit niedriger Auflösung in Bezug auf objektive und subjektive Qualitätsmaße die bisherigen Verfahren übertrifft, wobei er dabei die geringste Anzahl an Modellparametern aufweist.