Physikbasierte, ISO-abhängige Rauschmodellierung von Sensoren für die extrem schwache Beleuchtungsfotografie

Obwohl tiefe neuronale Netzwerke in vielen visuellen Aufgaben beeindruckende Leistungen erzielt haben, sind bestehende lernbasierte Ansätze bei der Modellierung von Sensorrauschen unter extremen Lichtverhältnissen erheblich unterlegen gegenüber physikalischen Modell-basierten Lösungen. Um das Potenzial lernbasierter Sensorrauschmodellierung auszuschöpfen, untersuchen wir die Entstehung von Rauschen im typischen Bildaufnahmeprozess und stellen einen neuartigen, physikbasierten, ISO-abhängigen Ansatz zur Modellierung von Sensorrauschen vor. Konkret entwickeln wir einen auf Normalisierungsflüssen basierenden Rahmen, um die komplexen Rauschmerkmale von CMOS-Sensoren präzise zu beschreiben. Jeder Bestandteil des Rauschmodells wird gezielt einer spezifischen Rauschart unter Anleitung physikalischer Modelle zugeordnet. Darüber hinaus berücksichtigen wir explizit die ISO-Abhängigkeit im Rauschmodell, was bei bestehenden lernbasierten Ansätzen bisher nicht ausreichend berücksichtigt wurde. Zur Schulung des vorgeschlagenen Rauschmodells wurde zudem ein neuer Datensatz zusammengestellt, der Paare aus verrauschten und sauberen Bildern sowie Flachfeld- und Bias-Aufnahmen über einen weiten Bereich an ISO-Einstellungen umfasst. Im Vergleich zu bestehenden Methoden profitiert das vorgeschlagene Modell von seiner flexiblen Struktur und seiner hohen Modellierungsgenauigkeit, was zu einer verbesserten Rauschunterdrückung in extremen Lichtverhältnissen beitragen kann. Der Quellcode und der gesammelte Datensatz werden öffentlich verfügbar gemacht.