Lernen, im Dunkeln zu sehen

Bildgebung bei schwachen Lichtverhältnissen ist aufgrund der geringen Photonenzahl und des niedrigen Signal-Rausch-Verhältnisses (SNR) herausfordernd. Kurzbelichtete Bilder leiden unter Rauschen, während eine lange Belichtungszeit unscharfe Bilder verursachen kann und oft unpraktikabel ist. Es wurden verschiedene Entrauschungs-, Entverschwommenheits- und Verbesserungstechniken vorgeschlagen, jedoch sind ihre Effektivität bei extremen Bedingungen, wie zum Beispiel bei Video-Bildgebungs-Raten in der Nacht, begrenzt. Um die Entwicklung von lernbasierten Pipelines für die Bildverarbeitung bei schwachen Lichtverhältnissen zu unterstützen, stellen wir einen Datensatz von rohen kurzbelichteten schwach beleuchteten Bildern vor, zusammen mit entsprechenden langbelichteten Referenzbildern. Unter Verwendung des präsentierten Datensatzes entwickeln wir eine Pipeline zur Verarbeitung von Bildern bei schwachen Lichtverhältnissen, basierend auf einem end-to-end Training eines vollkonvolutionellen Netzes. Das Netz arbeitet direkt mit Rohdaten des Sensors und ersetzt einen Großteil der traditionellen Bildverarbeitungspipeline, die bei solchen Daten oft schlecht abschneidet. Wir berichten über vielversprechende Ergebnisse auf dem neuen Datensatz, analysieren Faktoren, die die Leistung beeinflussen, und heben Chancen für zukünftige Arbeiten hervor. Die Ergebnisse werden im ergänzenden Video unter https://youtu.be/qWKUFK7MWvg gezeigt.