IFRNet: Intermediate Feature Refine Network für effiziente Frame-Interpolation

Bekannte Algorithmen zur Interpolation von Videobildern, die Zwischenbilder aus aufeinanderfolgenden Eingaben generieren, beruhen typischerweise auf komplexen Modellarchitekturen mit vielen Parametern oder hohen Verzögerungen, was ihre Anwendung in vielfältigen Echtzeitanwendungen einschränkt. In dieser Arbeit präsentieren wir ein effizientes, auf einem Encoder-Decoder-Netzwerk basierendes Modell namens IFRNet zur schnellen Synthese von Zwischenbildern. Zunächst extrahiert das Netzwerk pyramidale Merkmale aus den gegebenen Eingaben und verfeinert anschließend die bilateralen Zwischenflussfelder gemeinsam mit einem leistungsfähigen Zwischenmerkmal, bis das gewünschte Ausgabeergebnis erzeugt wird. Das schrittweise verfeinerte Zwischenmerkmal unterstützt nicht nur die Schätzung des Zwischenflusses, sondern kompensiert auch feinere Kontextinformationen, wodurch IFRNet auf zusätzliche Synthesen- oder Nachbearbeitungsmodulen verzichten kann. Um das volle Potenzial des Ansatzes auszuschöpfen, führen wir zudem eine neuartige, auf die Aufgabe ausgerichtete optische Fluss-Distillation-Verlustfunktion ein, die darauf abzielt, nützliches Wissen aus einem Lehrmodell gezielt für die Bildsynthese zu lernen. Gleichzeitig wird eine neue Regularisierungsterm für geometrische Konsistenz auf die schrittweise verfeinerten Zwischenmerkmale angewendet, um eine bessere Strukturstruktur aufrechtzuerhalten. Experimente auf verschiedenen Benchmarks belegen die hervorragende Leistung und die schnelle Inferenzgeschwindigkeit des vorgeschlagenen Ansatzes. Der Quellcode ist unter https://github.com/ltkong218/IFRNet verfügbar.