Verbesserte bidirektionale Bewegungsschätzung für die Videoframe-Interpolation

Wir präsentieren einen neuartigen, einfachen jedoch effektiven Algorithmus zur Bewegungs-basierten Interpolation von Videobildern. Bestehende Bewegungs-basierte Interpolationsmethoden stützen sich typischerweise auf ein vorab trainiertes Optische-Fluss-Modell oder ein U-Net-basiertes Pyramiden-Netzwerk zur Bewegungsschätzung, wobei beide Ansätze entweder große Modellgrößen aufweisen oder begrenzte Kapazität bei der Behandlung komplexer und großer Bewegungen besitzen. In dieser Arbeit integrieren wir durch sorgfältige Kombination von mittelständigen, vorwärts-orientierten Warp-Operationen, einem leichtgewichtigen Merkmals-Encoder und einer Korrelationsvolumen-Struktur in einen pyramidenförmigen rekurrenten Rahmen ein kompaktes Modell, das gleichzeitig die bidirektionale Bewegung zwischen Eingabebildern schätzt. Das Modell ist 15-mal kleiner als PWC-Net, ermöglicht jedoch zuverlässigere und flexiblere Behandlung anspruchsvoller Bewegungsszenarien. Auf Basis der geschätzten bidirektionalen Bewegung werden die Eingabebilder sowie deren Kontextmerkmale auf das Zwischenbild vorwärts gewarpt, und ein Synthesenetzwerk nutzt die transformierten Darstellungen, um das Zwischenbild zu schätzen. Unser Ansatz erreicht hervorragende Ergebnisse auf einer breiten Palette von Benchmark-Daten für Videobild-Interpolation. Der Quellcode und die trainierten Modelle sind unter \url{https://github.com/srcn-ivl/EBME} verfügbar.