Tiefe Burst-Superauflösung

Während die Super-Resolution (SR) einzelner Bilder in den letzten Jahren erhebliches Interesse gefunden hat, sind die vorgeschlagenen Ansätze auf das Lernen von Bildpriors beschränkt, um Hochfrequenzdetails hinzuzufügen. Im Gegensatz dazu bietet Multi-Frame-Super-Resolution (MFSR) die Möglichkeit, reichhaltige Details durch die Kombination von Signalinformationen aus mehreren verschobenen Bildern zu rekonstruieren. Diese wesentliche Vorteil, verbunden mit der wachsenden Beliebtheit von Burst-Fotografie, hat MFSR zu einem wichtigen Problem für praktische Anwendungen gemacht.Wir schlagen eine neuartige Architektur für die Aufgabe der Burst-Super-Resolution vor. Unser Netzwerk nimmt mehrere rauschbehaftete RAW-Bilder als Eingabe und generiert ein entrauschtes, hochaufgelöstes RGB-Bild als Ausgabe. Dies wird erreicht, indem tief eingebettete Repräsentationen der Eingabebilder mithilfe von pixelweise berechneten optischen Flüssen explizit ausgerichtet werden. Die Informationen aller Frames werden dann mittels eines aufmerksamkeitsbasierten Fusionierungsmoduls adaptiv zusammengeführt. Um das Training und die Bewertung auf realen Daten zu ermöglichen, stellen wir zusätzlich den BurstSR-Datensatz vor, der aus Smartphone-Bursts und hochaufgelösten DSLR-Referenzbildern besteht. Wir führen eine umfassende experimentelle Analyse durch, die die Effektivität der vorgeschlagenen Architektur demonstriert.