CDFI: Compression-Driven Network Design for Frame Interpolation

Durch neuronale Netze basierende Frame-Interpolation – die Erzeugung von Zwischenframes anhand zweier aufeinanderfolgender Frames – beruht typischerweise auf komplexen Modellarchitekturen mit einer großen Anzahl an Parametern, was eine Einbindung in ressourcenbeschränkte Systeme, wie beispielsweise mobile Geräte, erschwert. Wir stellen ein kompressionsgetriebenes Netzwerkdesign für die Frame-Interpolation (CDFI) vor, das durch sparsity-induzierende Optimierung und Modellpruning die Modellgröße erheblich reduziert, gleichzeitig jedoch eine herausragende Leistung erzielt. Konkret komprimieren wir zunächst das kürzlich vorgestellte AdaCoF-Modell und zeigen, dass eine um den Faktor 10 komprimierte Version von AdaCoF vergleichbare Ergebnisse wie das ursprüngliche Modell liefert; anschließend verbessern wir dieses komprimierte Modell durch die Einführung eines Multi-Resolution-Warping-Moduls, das die visuelle Konsistenz durch die Berücksichtigung von Details auf mehreren Skalen erhöht. Dadurch erreichen wir eine signifikante Leistungssteigerung bei nur einem Viertel der Größe des ursprünglichen AdaCoF-Modells. Zudem erzielt unser Modell gegenüber anderen State-of-the-Art-Verfahren über eine breite Palette von Datensätzen hinweg überzeugende Ergebnisse. Schließlich ist der vorgeschlagene kompressionsgetriebene Ansatz generisch und lässt sich problemlos auf andere DNN-basierte Frame-Interpolation-Algorithmen übertragen. Der Quellcode ist unter https://github.com/tding1/CDFI verfügbar.