Tiefenbewusste Video-Bildinterpolation

Die Video-Bilderrahmen-Interpolation (Video Frame Interpolation) zielt darauf ab, nichtexistierende Bilderrahmen zwischen den ursprünglichen Rahmensequenzen zu erzeugen. Obwohl durch die jüngsten tiefen konvolutionellen neuronalen Netze (Deep Convolutional Neural Networks) erhebliche Fortschritte gemacht wurden, wird die Qualität der Interpolation oft aufgrund großer Objektbewegungen oder Verdeckungen reduziert. In dieser Arbeit schlagen wir eine Methode zur Video-Bilderrahmen-Interpolation vor, die Verdeckungen explizit durch die Auswertung von Tiefeninformationen erkennt. Insbesondere entwickeln wir eine tiefenbewusste Flussprojektionsschicht (depth-aware flow projection layer), um Zwischenflüsse zu synthetisieren, die nähere Objekte gegenüber weiter entfernten bevorzugt abtasten. Darüber hinaina lernen wir hierarchische Merkmale, um kontextuelle Informationen aus benachbarten Pixeln zu sammeln. Das vorgeschlagene Modell verformt dann die Eingangsrahmen, Tiefenkarten und kontextuellen Merkmale basierend auf dem optischen Fluss und lokalen Interpolationskernen, um den Ausgangsrahmen zu synthetisieren. Unser Modell ist kompakt, effizient und vollständig differenzierbar. Quantitative und qualitative Ergebnisse zeigen, dass das vorgeschlagene Modell bei einer Vielzahl von Datensätzen günstig mit den besten aktuellen Methoden der Bilderrahmen-Interpolation konkurriert.