Omniziente Video-Super-Resolution

Die meisten aktuellen Methoden zur Video-Super-Resolution (SR) verfolgen entweder einen iterativen Ansatz, um niedrigauflösende (LR) Frames aus einem zeitlich gleitenden Fenster zu bearbeiten, oder nutzen die zuvor geschätzten SR-Ausgaben, um den aktuellen Frame rekurrent zu rekonstruieren. Einige Studien versuchen, diese beiden Strukturen zu kombinieren, um einen hybriden Rahmen zu schaffen, gelingen dies jedoch nicht vollständig. In diesem Artikel stellen wir einen allwissenden Rahmen vor, der nicht nur die vorherigen SR-Ausgaben nutzt, sondern auch die SR-Ausgaben aus der aktuellen und zukünftigen Frames einbezieht. Der allwissende Rahmen ist generischer, da iterative, rekurrente und hybride Rahmen als spezielle Fälle dessen betrachtet werden können. Der vorgeschlagene allwissende Rahmen ermöglicht es einem Generator, unter anderen Rahmenstrukturen überlegen zu agieren. Umfangreiche Experimente auf öffentlichen Datensätzen zeigen, dass unsere Methode die aktuell besten Ansätze sowohl in objektiven Metriken, subjektiven visuellen Effekten als auch in der Komplexität übertrifft. Der Quellcode wird öffentlich verfügbar gemacht.