HyperAIHyperAI

Command Palette

Search for a command to run...

Tiefenbewusste Video-Bildinterpolation

Wenbo Bao Wei-Sheng Lai Chao Ma Xiaoyun Zhang Zhiyong Gao Ming-Hsuan Yang

Zusammenfassung

Die Video-Bilderrahmen-Interpolation (Video Frame Interpolation) zielt darauf ab, nichtexistierende Bilderrahmen zwischen den ursprünglichen Rahmensequenzen zu erzeugen. Obwohl durch die jüngsten tiefen konvolutionellen neuronalen Netze (Deep Convolutional Neural Networks) erhebliche Fortschritte gemacht wurden, wird die Qualität der Interpolation oft aufgrund großer Objektbewegungen oder Verdeckungen reduziert. In dieser Arbeit schlagen wir eine Methode zur Video-Bilderrahmen-Interpolation vor, die Verdeckungen explizit durch die Auswertung von Tiefeninformationen erkennt. Insbesondere entwickeln wir eine tiefenbewusste Flussprojektionsschicht (depth-aware flow projection layer), um Zwischenflüsse zu synthetisieren, die nähere Objekte gegenüber weiter entfernten bevorzugt abtasten. Darüber hinaina lernen wir hierarchische Merkmale, um kontextuelle Informationen aus benachbarten Pixeln zu sammeln. Das vorgeschlagene Modell verformt dann die Eingangsrahmen, Tiefenkarten und kontextuellen Merkmale basierend auf dem optischen Fluss und lokalen Interpolationskernen, um den Ausgangsrahmen zu synthetisieren. Unser Modell ist kompakt, effizient und vollständig differenzierbar. Quantitative und qualitative Ergebnisse zeigen, dass das vorgeschlagene Modell bei einer Vielzahl von Datensätzen günstig mit den besten aktuellen Methoden der Bilderrahmen-Interpolation konkurriert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp