CycleISP: Echtbild-Restaurierung durch verbesserte Datensynthese

Die Verfügbarkeit großskaliger Datensätze hat das wahre Potenzial tiefer konvolutioneller neuronalen Netze (CNNs) entscheidend freigesetzt. Für das Problem der Einzelbild-Rauschunterdrückung ist die Erhebung eines realen Datensatzes jedoch äußerst kostspielig und aufwendig. Daher werden Bildrauschunterdrückungsalgorithmen in der Regel auf synthetischen Daten entwickelt und evaluiert, die üblicherweise unter der weit verbreiteten Annahme von additivem weißem Gaußschem Rauschen (AWGN) generiert werden. Während CNNs auf diesen synthetischen Datensätzen beeindruckende Ergebnisse erzielen, schneiden sie bei Anwendung auf echte Kamerabilder deutlich schlechter ab, wie kürzlich in Benchmark-Datensätzen dokumentiert wurde. Dies liegt hauptsächlich daran, dass AWGN nicht ausreichend ist, um das echte Kamerarauschen zu modellieren, das signalabhängig ist und stark durch die Kamerabildverarbeitungskette transformiert wird. In diesem Paper stellen wir einen Rahmen vor, der die Kamerabildverarbeitungskette in Vorwärts- und Rückwärtsrichtung modelliert. Dadurch können beliebig viele realistische Bildpaare sowohl im RAW- als auch im sRGB-Raum für die Rauschunterdrückung generiert werden. Durch das Training eines neuen Bildrauschunterdrückungsnetzwerks auf realistischen synthetischen Daten erreichen wir die bisher beste Leistung auf realen Kamerabenchmark-Datensätzen. Die Parameteranzahl in unserem Modell beträgt etwa ein Fünftel des vorherigen besten Ansatzes für die RAW-Rauschunterdrückung. Zudem zeigen wir, dass der vorgeschlagene Rahmen über das Problem der Bildrauschunterdrückung hinaus generalisierbar ist, beispielsweise für die Farbkorrektur in stereoskopischen Kinofilmen. Der Quellcode und vortrainierte Modelle sind unter https://github.com/swz30/CycleISP verfügbar.