EBSR: Featureverstärkte Burst-Super-Resolution mit verformbarer Ausrichtung

Wir stellen eine neuartige Architektur zur Lösung des Problems der Mehrbild-Super-Resolution (Multi-Frame Super-Resolution, MFSR) vor. Der vorgeschlagene Ansatz wird als Enhanced Burst Super-Resolution (EBSR) bezeichnet und teilt das MFSR-Problem in drei Schritte auf: Ausrichtung, Fusions- und Rekonstruktionsphase. Zur Ausrichtung mehrerer Low-Resolution-Burst-Bilder auf der Merkmalsebene wird ein Feature Enhanced Pyramid Cascading and Deformable Convolution (FEPCD)-Modul vorgeschlagen. Anschließend werden die ausgerichteten Merkmale mittels eines Cross Non-Local Fusion (CNLF)-Moduls gefasst. Schließlich wird das hochauflösende Bild durch ein Long Range Concatenation Network (LRCN) rekonstruiert. Zudem wird eine kaskadenförmige Residual-Pfadstruktur (CR) eingeführt, um die Leistungsfähigkeit zu verbessern. Wir führen mehrere Experimente durch, um die einzelnen Module zu analysieren und deren Wirksamkeit zu demonstrieren. Unser EBSR-Modell erreichte den ersten Platz im realen Track und den zweiten Platz im synthetischen Track beim NTIRE21 Burst Super-Resolution Challenge.