Ein einheitliches pyramidenförmiges rekurrentes Netzwerk für die Videoframe-Interpolation

Die flussgesteuerte Synthese bietet einen gemeinsamen Rahmen für die Bildinterpolation, bei dem der optische Fluss geschätzt wird, um die Synthese von Zwischenbildern zwischen aufeinanderfolgenden Eingabebildern zu leiten. In diesem Artikel stellen wir UPR-Net, ein neuartiges Unified Pyramid Recurrent Network für die Bildinterpolation, vor. In einem flexiblen Pyramidenrahmen nutzt UPR-Net leichtgewichtige rekurrente Module sowohl für die bidirektionale Flussabschätzung als auch für die Synthese von Zwischenbildern. Auf jeder Pyramidenstufe nutzt das Modell den geschätzten bidirektionalen Fluss, um vorwärtsverzerrte Darstellungen für die Bildsynthese zu erzeugen; über die verschiedenen Pyramidenstufen hinweg ermöglicht es eine iterative Verbesserung sowohl des optischen Flusses als auch der Zwischenbilder. Insbesondere zeigen wir, dass unsere iterative Synthesestrategie die Robustheit der Bildinterpolation bei großen Bewegungen erheblich verbessert. Trotz eines äußerst geringen Parameterumfangs (1,7 Mio. Parameter) erreicht unsere Basisversion von UPR-Net hervorragende Ergebnisse auf einer Vielzahl von Benchmarks. Der Quellcode und die trainierten Modelle unserer UPR-Net-Serie sind unter folgender Adresse verfügbar: https://github.com/srcn-ivl/UPR-Net.