MEMC-Net: Neuronales Netzwerk zur Bewegungsschätzung und -kompensation für die Videointerpolation und -verbesserung

Bewegungsschätzung (ME) und Bewegungskompensation (MC) werden seit Jahrzehnten in klassischen Video-Bildinterpolationsystemen weit verbreitet eingesetzt. Kürzlich wurden eine Reihe datengetriebener Interpolationsmethoden basierend auf Faltungsneuralnetzen vorgeschlagen. Bestehende lernbasierte Methoden schätzen jedoch in der Regel entweder Fluss oder Kompensationskerne, was die Leistung sowohl in Bezug auf die Rechen-effizienz als auch die Interpolationsgenauigkeit einschränkt. In dieser Arbeit schlagen wir ein von Bewegungsschätzung und -kompensation getriebenes Neuronales Netzwerk für die Video-Bildinterpolation vor. Eine neuartige adaptive Warping-Schicht wurde entwickelt, um sowohl optischen Fluss als auch Interpolationskerne zu integrieren, um die Zielbildpixel zu synthetisieren. Diese Schicht ist vollständig differenzierbar, sodass sowohl das Fluss- als auch das Kernschätzungsnetzwerk gemeinsam optimiert werden können. Das vorgeschlagene Modell nutzt die Vorteile von Bewegungsschätzung und -kompensation ohne manuell gestaltete Merkmale zu verwenden. Verglichen mit bestehenden Methoden ist unser Ansatz rechnerisch effizienter und in der Lage, ansprechendere visuelle Ergebnisse zu erzeugen. Darüber hinaus kann das vorgeschlagene MEMC-Net nahtlos auf verschiedene Videoverbesserungsaufgaben angepasst werden, wie zum Beispiel Superresolution, Denoising und Deblocking. Ausführliche quantitative und qualitative Bewertungen zeigen, dass die vorgeschlagene Methode bei einer Vielzahl von Datensätzen günstig mit den neuesten Verfahren zur Video-Bildinterpolation und -verbesserung konkurriert.