Few-Shot Domain Adaptation für die Low-Light RAW-Bildverbesserung

Die Verbesserung praktischer Rohbilder bei extrem niedrigem Licht ist aufgrund starker Rauschbildung und Farbverzerrungen infolge kurzer Belichtungszeiten und begrenzter Beleuchtungsbedingungen eine herausfordernde Aufgabe. Trotz des Erfolgs bestehender auf Faltungsneuralen Netzen (Convolutional Neural Networks, CNN) basierender Methoden ist deren Leistung nicht an verschiedene Kamerasysteme anpassbar. Zudem erfordern solche Ansätze große Datensätze, die jeweils Rohbilder mit kurzer Belichtungszeit und entsprechende Referenzbilder mit langer Belichtungszeit für jede Kameraart enthalten – eine Erstellung, die zeitaufwendig und aufwändig ist. Um dieses Problem anzugehen, präsentieren wir eine neuartige Few-Shot-Domänenanpassungsmethode, die bestehende gelabelte Daten aus einer Quellkamera mit nur wenigen gelabelten Proben aus der Zielkamera nutzt, um die Qualität der Bildverbesserung im Bereich extremer Lichtarmut in der Zielkamera zu steigern. Unsere Experimente zeigen, dass bereits zehn oder weniger gelabelte Proben aus der Zielkamera ausreichen, um eine Verbesserungsleistung zu erreichen, die derjenigen eines Modells entspricht, das mit einem großen gelabelten Datensatz aus der Zielkamera trainiert wurde, oder sogar diese übertrifft. Um die Forschung in dieser Richtung zu unterstützen, stellen wir zudem ein neues Rohbild-Datensatz für niedriges Licht vor, der mit einer Nikon-Kamera aufgenommen wurde und sowohl kurze Belichtungszeiten als auch die entsprechenden Referenzbilder mit langer Belichtungszeit umfasst.