Physikbasierte Rauschmodellierung für extrem schwaches Lichtphotografie

Die Verbesserung der Sichtbarkeit in extrem dunklen Umgebungen stellt eine herausfordernde Aufgabe dar. Unter fast lichtlosen Bedingungen neigen bestehende Bildrauschmodellierungsverfahren leicht zum Versagen, da die Signal-Rausch-Verhältnisse (SNR) äußerst niedrig sind. In diesem Artikel untersuchen wir systematisch die Rauschstatistiken im Bildaufnahme-Pfad von CMOS-Photosensoren und stellen ein umfassendes Rauschmodell vor, das die tatsächlichen Rauschstrukturen präzise charakterisieren kann. Unser neuartiges Modell berücksichtigt Rauschquellen, die durch die Elektronik digitaler Kameras verursacht werden – Quellen, die von bisherigen Methoden weitgehend übersehen werden, dennoch jedoch erheblichen Einfluss auf die Rohmessungen im Dunkeln ausüben. Es ermöglicht eine Entkopplung der komplexen Rauschstruktur in verschiedene statistische Verteilungen mit physikalischer Interpretation. Darüber hinaus kann unser Rauschmodell zur Synthese realistischer Trainingsdaten für lernbasierte Algorithmen zur Rauschunterdrückung bei niedrigem Licht eingesetzt werden. In diesem Zusammenhang zeigen tiefgreifende neuronale Netze, insbesondere tiefes Faltungsneuronales Netzwerk (deep convolutional neural networks), zwar vielversprechende Ergebnisse, doch ihre Erfolgsaussichten hängen stark von einer großen Menge an rauschbehafteten und entsprechend sauberen Bilddatensätzen ab, die in der Praxis äußerst schwer zu beschaffen sind. Die Verallgemeinerung der trainierten Modelle auf Bilder von neuen Geräten stellt zudem ein erhebliches Problem dar. Umfangreiche Experimente an mehreren Datensätzen zur Rauschunterdrückung bei niedrigem Licht – einschließlich eines neu erfassten Datensatzes in dieser Arbeit, der verschiedene Geräte abdeckt – zeigen, dass ein tiefes neuronales Netzwerk, das mit unserem vorgeschlagenen Rauschmodell trainiert wurde, eine überraschend hohe Genauigkeit erreicht. Die Ergebnisse sind mit denen, die mit gepaarten echten Daten erzielt werden, vergleichbar oder in einigen Fällen sogar überlegen, und eröffnen damit einen neuen Weg für die praktische Anwendung der extrem dunklen Fotografie.