Einfaches Basisrahmen-gesteuertes Residual-Netzwerk für die Super-Resolution von RAW-Burst-Bildern

Burst-Super-Resolution oder Multi-Frame-Super-Resolution (MFSR) hat in den letzten Jahren erhebliche Aufmerksamkeit erhalten, insbesondere im Kontext der mobilen Fotografie. Angesichts der kontinuierlich steigenden Verarbeitungsleistung moderner Handgeräte und der Fähigkeit, mehrere Bilder sogar noch schneller aufzunehmen, ist die Entwicklung robuster MFSR-Algorithmen zunehmend realisierbar geworden. Zudem ermöglicht die Burst-Super-Resolution im Gegensatz zur intensiv erforschten Single-Image-Super-Resolution (SISR) eine Verbesserung der schlecht gestellten Natur der Rekonstruktion hochauflösender Bilder aus niedrigauflösenden durch die Fusion von Informationen aus mehreren verschobenen Frames. Diese Arbeit präsentiert einen neuartigen und effektiven Ansatz basierend auf tiefen neuronalen Netzen, namens SBFBurst, der dieses anspruchsvolle Problem adressiert. Unser Netzwerk verarbeitet mehrere rauschbehaftete RAW-Bilder als Eingabe und erzeugt als Ausgabe ein entrauschtes, hochaufgelöstes RGB-Bild. Wir zeigen, dass durch die Integration von Basisframe-gesteuerten Mechanismen – beispielsweise durch Feature-Map-Konkatenation und Skip-Connections – erhebliche Verbesserungen erzielt werden können. Zudem betonen wir die Bedeutung der Verwendung von mosaikartiger Faltung zur Verbesserung der Bildausrichtung, was die Gesamtleistung des Netzwerks in Super-Resolution-Aufgaben signifikant steigert. Diese relativ einfachen Verbesserungen unterstreichen die Wettbewerbsfähigkeit unseres vorgeschlagenen Ansatzes gegenüber anderen state-of-the-art-Verfahren.