Softmax Splatting für die Videoframe-Interpolation

Die differenzierbare Bildabtastung in Form von Rückwärtsverzerrung hat in Aufgaben wie der Tiefenschätzung und der optischen Flussvorhersage weite Verbreitung gefunden. Im Gegensatz dazu hat die Durchführung von Vorwärtsverzerrung weniger Aufmerksamkeit erfahren, teilweise aufgrund zusätzlicher Herausforderungen, wie etwa der differenzierbaren Lösung des Konflikts, dass mehrere Quellpixel auf denselben Zielort abgebildet werden. Wir stellen Softmax-Splatting vor, um diesen Paradigmenwechsel zu bewältigen, und zeigen dessen Wirksamkeit bei der Anwendung der Bildfolgen-Interpolation. Konkret wenden wir bei zwei Eingabebildern mittels Softmax-Splatting eine Vorwärtsverzerrung sowohl auf die Bilder als auch auf ihre Merkmalspyramiden basierend auf einer optischen Flussabschätzung an. Auf diese Weise handhabt Softmax-Splatting nahtlos Fälle, in denen mehrere Quellpixel auf denselben Zielort abgebildet werden. Anschließend nutzen wir ein Synthesenetzwerk, um das Interpolationsresultat aus den verzerrten Darstellungen vorherzusagen. Unser Softmax-Splatting ermöglicht es uns nicht nur, Bilder zu einer beliebigen Zeit zu interpolieren, sondern auch, die Merkmalspyramide und den optischen Fluss zu feinjustieren. Wir zeigen, dass unser Syntheseverfahren, gestärkt durch Softmax-Splatting, neue Sollwert-Ergebnisse für die Video-Bildfolgen-Interpolation erzielt.