Command Palette
Search for a command to run...
MEMC-Net: Bewegungsschätzung und bewegungsgesteuerte Bewegungskompensation für neuronale Netze zur Videobildinterpolation und -verbesserung
MEMC-Net: Bewegungsschätzung und bewegungsgesteuerte Bewegungskompensation für neuronale Netze zur Videobildinterpolation und -verbesserung
Ming-Hsuan Yang Wei-Sheng Lai Zhiyong Gao Wenbo Bao Xiaoyun Zhang
Zusammenfassung
Bewegungsschätzung (Motion Estimation, ME) und Bewegungskompensation (Motion Compensation, MC) haben in den vergangenen Jahrzehnten klassische Systeme zur Interpolation von Videobildern dominiert. In jüngster Zeit etablierten sich neuronale Netzwerke mit Faltungsoperationen (Convolutional Neural Networks) als neuartiges, datengetriebenes Paradigma für die Bildinterpolation. Allerdings schätzen bestehende lernbasierte Ansätze typischerweise nur eines der beiden Bausteine, ME oder MC, was zu begrenzter Leistung sowohl hinsichtlich der Recheneffizienz als auch der Interpolationsgenauigkeit führt. In dieser Arbeit stellen wir ein neuronales Netzwerk vor, das sowohl Bewegungsschätzung als auch Bewegungskompensation nutzt, um Videobilder zu interpolieren. Wir führen eine neuartige adaptive Warping-Schicht ein, die sowohl optischen Fluss als auch Interpolationskerne integriert, um die Pixel des Zielbildes zu synthetisieren. Diese Schicht ist vollständig differenzierbar, sodass sowohl das Netzwerk zur Schätzung des optischen Flusses als auch das Netzwerk zur Schätzung der Kerne gemeinsam optimiert werden können. Unser Ansatz profitiert von der modellgetriebenen Architektur von ME und MC, vermeidet jedoch die traditionelle, manuelle Gestaltung der Algorithmen durch das Training an einer großen Menge an Videodaten. Im Vergleich zu bestehenden Methoden ist unsere Vorgehensweise recheneffizient und ermöglicht die Erzeugung visuell ansprechenderer Ergebnisse. Darüber hinaus stellt unsere MEMC-Architektur einen allgemeinen Rahmen dar, der nahtlos auf verschiedene Aufgaben der Videobearbeitung angepasst werden kann, beispielsweise Super-Resolution, Rauschunterdrückung und Blockeffektvermeidung. Umfassende quantitative und qualitative Bewertungen zeigen, dass die vorgeschlagene Methode gegenüber den aktuellen Stand der Technik in der Videobildinterpolation und -verbesserung auf einer Vielzahl von Datensätzen überzeugt.