Explizite Kalibrierung implizit machen: Denoiser statt des Rauschmodells kalibrieren

Explizite kalibrierungs-basierte Methoden haben die Rauschunterdrückung in RAW-Bildern unter extremen Dunkelheitbedingungen dominiert. Diese Ansätze stoßen jedoch auf mehrere kritische Einschränkungen: a) Der explizite Kalibrierungsprozess ist arbeits- und zeitintensiv, b) die Übertragbarkeit von Rauschunterdrückungsverfahren zwischen verschiedenen Kamerasystemen ist problematisch, und c) die Diskrepanz zwischen synthetischem und echtem Rauschen wird durch digitale Verstärkung weiter verschärft. Um diese Herausforderungen zu bewältigen, stellen wir einen bahnbrechenden Ansatz namens Lighting Every Darkness (LED) vor, der unabhängig von der digitalen Verstärkung und dem Kamera-Sensor wirksam ist. LED verzichtet auf eine explizite Kalibrierung des Rauschmodells und nutzt stattdessen einen impliziten Feinabstimmungsprozess, der eine schnelle Implementierung und nur minimale Datenaufwände erfordert. Zudem sind strukturelle Anpassungen integriert, die die Diskrepanz zwischen synthetischem und realem Rauschen verringern, ohne zusätzlichen Rechenaufwand mit sich zu bringen. Unser Ansatz übertrifft bestehende Methoden in verschiedenen Kamerasystemen, einschließlich neuer Modelle, die nicht in öffentlichen Datensätzen enthalten sind, bereits mit wenigen Bildpaaren pro digitaler Verstärkung und lediglich 0,5 % der üblichen Iterationen. Darüber hinaus ermöglicht LED Forschern, sich stärker auf Fortschritte im Bereich des tiefen Lernens zu konzentrieren, während die Vorteile der Sensorengineering-Technologie weiterhin genutzt werden können. Der Quellcode und zusätzliche Materialien sind unter https://srameo.github.io/projects/led-iccv23/ verfügbar.