Zur allgemeinen Synthese und Modellierung von Rohrauschen bei niedrigem Licht

Die Modellierung und Synthese von Rauschen in schwach beleuchteten Rohdaten stellt ein grundlegendes Problem für Anwendungen der computergestützten Fotografie und Bildverarbeitung dar. Obwohl die meisten aktuellen Ansätze physikbasierte Modelle zur Rauschsynthese verwenden, ist das signalunabhängige Rauschen unter schwachen Lichtbedingungen weitaus komplexer und variiert erheblich zwischen verschiedenen Kamera-Sensoren, was jenseits der Beschreibungsfähigkeit dieser Modelle liegt. Um dieses Problem anzugehen, stellen wir einen neuen Ansatz zur Synthese des signalunabhängigen Rauschens mittels eines generativen Modells vor. Konkret synthetisieren wir das signalabhängige und das signalunabhängige Rauschen jeweils auf physikbasierte und lernbasierte Weise. Auf diese Weise kann unsere Methode als ein allgemeines Modell betrachtet werden, das gleichzeitig verschiedene Rauschmerkmale für unterschiedliche ISO-Werte erlernen und auf eine Vielzahl von Sensoren verallgemeinern kann. Anschließend präsentieren wir einen effektiven, mehrskaligen Diskriminator namens Fourier-Transformer-Diskriminator (FTD), um die Rauschverteilung präzise zu unterscheiden. Zudem sammeln wir eine neue Datenbank für die Entzerrung schwach beleuchteter Rohdaten (Low-Light Raw Denoising, LRD) zur Nutzung beim Training und Benchmarking. Qualitative Validierungen zeigen, dass das von unserem vorgeschlagenen Rauschmodell erzeugte Rauschen hinsichtlich der Verteilung sehr ähnlich dem echten Rauschen ist. Darüber hinaus belegen umfangreiche Entzerrungsversuche, dass unsere Methode gegenüber den aktuellen State-of-the-Art-Verfahren auf verschiedenen Sensoren überzeugt.