BasicVSR: Die Suche nach wesentlichen Komponenten in der Videosuperauflösung und darüber hinaus

Video-Super-Resolution-(VSR)-Ansätze neigen dazu, mehr Komponenten als ihre Bild-Gegenstücke zu haben, da sie die zusätzliche zeitliche Dimension nutzen müssen. Komplexe Designs sind nicht ungewöhnlich. In dieser Studie möchten wir die Verknotungen entwirren und einige der wesentlichsten Komponenten für VSR unter der Leitung von vier grundlegenden Funktionen, nämlich Propagation, Alignment, Aggregation und Upsampling, neu überdenken. Durch Wiederverwendung einiger bestehender Komponenten mit minimalen Neuanpassungen zeigen wir eine prägnante Pipeline, BasicVSR, die in Bezug auf Geschwindigkeit und Restaurationsqualität im Vergleich zu vielen Stand-of-the-Art-Algorithmen ansprechende Verbesserungen erzielt. Wir führen eine systematische Analyse durch, um zu erklären, wie solche Gewinne erreicht werden können, und diskutieren die Fallstricke. Des Weiteren zeigen wir die Erweiterbarkeit von BasicVSR durch Vorstellung eines Informationsauffüllmechanismus und eines gekoppelten Propagationsverfahrens zur Förderung der Informationsaggregation. BasicVSR und seine Erweiterung IconVSR können als starke Baseline-Modelle für zukünftige VSR-Ansätze dienen.