HyperAIHyperAI

Command Palette

Search for a command to run...

MEMC-Net: Bewegungsschätzung und bewegungsgesteuerte Bewegungskompensation für neuronale Netze zur Videobildinterpolation und -verbesserung

Ming-Hsuan Yang Wei-Sheng Lai Zhiyong Gao Wenbo Bao Xiaoyun Zhang

Zusammenfassung

Bewegungsschätzung (Motion Estimation, ME) und Bewegungskompensation (Motion Compensation, MC) haben in den vergangenen Jahrzehnten klassische Systeme zur Interpolation von Videobildern dominiert. In jüngster Zeit etablierten sich neuronale Netzwerke mit Faltungsoperationen (Convolutional Neural Networks) als neuartiges, datengetriebenes Paradigma für die Bildinterpolation. Allerdings schätzen bestehende lernbasierte Ansätze typischerweise nur eines der beiden Bausteine, ME oder MC, was zu begrenzter Leistung sowohl hinsichtlich der Recheneffizienz als auch der Interpolationsgenauigkeit führt. In dieser Arbeit stellen wir ein neuronales Netzwerk vor, das sowohl Bewegungsschätzung als auch Bewegungskompensation nutzt, um Videobilder zu interpolieren. Wir führen eine neuartige adaptive Warping-Schicht ein, die sowohl optischen Fluss als auch Interpolationskerne integriert, um die Pixel des Zielbildes zu synthetisieren. Diese Schicht ist vollständig differenzierbar, sodass sowohl das Netzwerk zur Schätzung des optischen Flusses als auch das Netzwerk zur Schätzung der Kerne gemeinsam optimiert werden können. Unser Ansatz profitiert von der modellgetriebenen Architektur von ME und MC, vermeidet jedoch die traditionelle, manuelle Gestaltung der Algorithmen durch das Training an einer großen Menge an Videodaten. Im Vergleich zu bestehenden Methoden ist unsere Vorgehensweise recheneffizient und ermöglicht die Erzeugung visuell ansprechenderer Ergebnisse. Darüber hinaus stellt unsere MEMC-Architektur einen allgemeinen Rahmen dar, der nahtlos auf verschiedene Aufgaben der Videobearbeitung angepasst werden kann, beispielsweise Super-Resolution, Rauschunterdrückung und Blockeffektvermeidung. Umfassende quantitative und qualitative Bewertungen zeigen, dass die vorgeschlagene Methode gegenüber den aktuellen Stand der Technik in der Videobildinterpolation und -verbesserung auf einer Vielzahl von Datensätzen überzeugt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MEMC-Net: Bewegungsschätzung und bewegungsgesteuerte Bewegungskompensation für neuronale Netze zur Videobildinterpolation und -verbesserung | Paper | HyperAI