HyperAIHyperAI
vor 18 Tagen

MEMC-Net: Motion Estimation and Motion Compensation gestütztes neuronales Netzwerk für die Video-Frame-Interpolation und -Verbesserung

{Ming-Hsuan Yang, Wei-Sheng Lai, Zhiyong Gao, Wenbo Bao, Xiaoyun Zhang}
MEMC-Net: Motion Estimation and Motion Compensation gestütztes neuronales Netzwerk für die Video-Frame-Interpolation und -Verbesserung
Abstract

Die Bewegungsschätzung (Motion Estimation, ME) und Bewegungskompensation (Motion Compensation, MC) haben in den vergangenen Jahrzehnten klassische Systeme zur Video-Bildinterpolation dominiert. In jüngster Zeit hat die Einführung von Faltungsneuralen Netzen ein neues datengetriebenes Paradigma für die Bildinterpolation etabliert. Allerdings schätzen bestehende lernbasierte Ansätze typischerweise nur eines der beiden Bausteine, ME oder MC, was zu begrenzter Leistung sowohl hinsichtlich der Berechnungseffizienz als auch der Interpolationsgenauigkeit führt. In dieser Arbeit präsentieren wir ein neuronales Netzwerk für die Video-Bildinterpolation, das sowohl auf Bewegungsschätzung als auch auf Bewegungskompensation basiert. Wir stellen eine neuartige adaptive Warping-Schicht vor, die sowohl optischen Fluss als auch Interpolationskerne integriert, um die Pixel des Zielbildes zu synthetisieren. Diese Schicht ist vollständig differenzierbar, sodass sowohl das Netzwerk zur Fluss- als auch das zur Kernel-Schätzung gemeinsam optimiert werden können. Unser Ansatz profitiert von der modellgetriebenen Architektur von ME und MC, vermeidet jedoch die herkömmliche handgefertigte Gestaltung durch das Training an einer großen Menge an Videodaten. Im Vergleich zu bestehenden Methoden ist unsere Methode rechen-effizient und ermöglicht die Erzeugung visuell ansprechenderer Ergebnisse. Darüber hinaus stellt unsere MEMC-Architektur einen allgemeinen Rahmen dar, der nahtlos auf verschiedene Aufgaben der Video-Verbesserung wie Super-Resolution, Rauschunterdrückung und Blockungsbeseitigung übertragen werden kann. Umfassende quantitative und qualitative Bewertungen zeigen, dass die vorgeschlagene Methode gegenüber den aktuellen Stand der Technik in der Video-Bildinterpolation und -Verbesserung auf einer Vielzahl von Datensätzen überzeugt.

MEMC-Net: Motion Estimation and Motion Compensation gestütztes neuronales Netzwerk für die Video-Frame-Interpolation und -Verbesserung | Neueste Forschungsarbeiten | HyperAI