BasicVSR++: Verbesserung der Videosuperauflösung durch erweiterte Verbreitung und Ausrichtung

Eine rekurrente Struktur ist eine beliebte Framework-Option für die Aufgabe der Videosuperauflösung. Die neueste Methode, BasicVSR, verwendet bidirektionale Propagation mit Merkmalsausrichtung (feature alignment), um Informationen aus dem gesamten Eingabevideo effektiv zu nutzen. In dieser Studie redesignen wir BasicVSR, indem wir zweiter Ordnung Gitterpropagation (second-order grid propagation) und flussgeleitete deformierbare Ausrichtung (flow-guided deformable alignment) vorschlagen. Wir zeigen, dass durch die Erweiterung des rekurrenten Frameworks mit der verbesserten Propagation und Ausrichtung man räumlich-zeitliche Informationen über fehlerhaft ausgerichtete Videoframes effektiver nutzen kann. Die neuen Komponenten führen zu einer verbesserten Leistung unter ähnlichen rechnerischen Einschränkungen. Insbesondere übertreffen unsere Modell BasicVSR++ BasicVSR um 0,82 dB im PSNR-Wert bei vergleichbarer Anzahl von Parametern. Neben der Videosuperauflösung generalisiert sich BasicVSR++ auch gut auf andere Videorestaurationsaufgaben wie die Verbesserung kompakter Videos. Bei NTIRE 2021 erzielte BasicVSR++ drei Siege und einen zweiten Platz in den Challenges zur Videosuperauflösung und zur Verbesserung kompakter Videos. Der Code und die Modelle werden veröffentlicht werden, um MMEditing bereitzustellen.