Noise Flow: Modellierung von Rauschen mit bedingten Normalizing Flows

Das Modellieren und Synthetisieren von Bildrauschen ist ein wichtiger Aspekt in vielen Anwendungen der Computer Vision. Die seit langem gebräuchlichen additiven weißen Gaußschen und heteroskedastischen (signalabhängigen) Rauschmodelle, die in der Literatur weit verbreitet sind, bieten nur eine grobe Approximation des echten Sensorrauschens. In dieser Arbeit wird Noise Flow vorgestellt, ein leistungsfähiges und genaues Rauschmodell, das auf aktuellen Normalizing-Flow-Architekturen basiert. Noise Flow kombiniert etablierte parametrische Rauschmodelle (z.B. signalabhängiges Rauschen) mit der Flexibilität und Ausdrucksstärke von Normalizing-Flow-Netzwerken. Das Ergebnis ist ein umfassendes, kompaktes Rauschmodell mit weniger als 2500 Parametern, das jedoch mehrere Kameras und Verstärkungsfaktoren darstellen kann. Noise Flow übertrifft bestehende Rauschmodelle deutlich, mit einer Verbesserung von 0,42 Nats pro Pixel gegenüber den kamerakalibrierten Rauschniveaufunktionen, was sich in einer 52-prozentigen Steigerung der Wahrscheinlichkeit des abgetasteten Rauschens übersetzt. Noise Flow stellt den ersten ernsthaften Versuch dar, über einfache parametrische Modelle hinauszugehen und die Leistungsfähigkeit des tiefen Lernens sowie datengesteuerte Rauschverteilungen zu nutzen.