Bildrestauration und -verbesserung bei Burst-Bildern

Moderne Handheld-Geräte können in schneller Folge Burst-Bildsequenzen aufnehmen. Die einzeln erfassten Bilder leiden jedoch unter mehreren Degradierungen und sind aufgrund von Kamerabewegungen und Objektbewegungen fehlaligniert. Das Ziel der Burst-Bildrestauration ist es, effektiv ergänzende Hinweise über mehrere Burst-Bilder zu kombinieren, um hochwertige Ausgaben zu generieren. Um dieses Ziel zu erreichen, entwickeln wir einen neuen Ansatz, der sich ausschließlich auf den effektiven Informationsaustausch zwischen den Burst-Bildern konzentriert, sodass die Degradierungen herausgefiltert werden, während die tatsächlichen Szendetails erhalten und verbessert werden. Unser zentrales Konzept besteht darin, eine Reihe von Pseudo-Burst-Features zu erstellen, die ergänzende Informationen aus allen Eingangs-Burst-Bildern kombinieren, um die Informationsübertragung nahtlos durchzuführen. Allerdings kann das Pseudo-Burst nur dann erfolgreich erstellt werden, wenn die einzelnen Burst-Bilder ordnungsgemäß aligniert sind, um Bewegungen zwischen den Bildern zu kompensieren. Daher extrahiert unser Ansatz zunächst vorverarbeitete Features aus jedem Burst-Bild und passt sie mithilfe eines Kantenerkennungsmoduls zur Burst-Alignment an. Anschließend werden die Pseudo-Burst-Features mit Hilfe von multi-skalierten kontextuellen Informationen erstellt und bereichert. Der letzte Schritt besteht darin, Informationen aus den Pseudo-Burst-Features adaptiv zusammenzufassen, um in mehreren Stufen schrittweise die Auflösung zu erhöhen und gleichzeitig die Pseudo-Burst-Features zu fusionieren. Im Vergleich zu bestehenden Arbeiten, die in der Regel ein spätes Fusionsschema mit einer Einzelaufstiegsstufe verwenden, erzielt unser Ansatz vorteilhafte Ergebnisse und liefert Spitzenleistungen bei den Aufgaben der Burst-Superresolution (Burst Superresolution), der Burst-Niedriglichtbildverbesserung (Burst Low-Light Image Enhancement) und der Burst-Rauschunterdrückung (Burst Denoising). Der Quellcode und die vorab trainierten Modelle sind unter \url{https://github.com/akshaydudhane16/BIPNet} verfügbar.