NightRain: Nachts Video-Entregnen durch adaptive Regenentfernung und adaptive Korrektur

Bestehende tiefenlernenbasierte Methoden zur Regenentfernung in Nachtsvideos stützen sich auf synthetische Daten, da es an realen gepaarten Daten mangelt. Allerdings führen die Komplexitäten der realen Welt, insbesondere die Anwesenheit von Lichteffekten und von Rauschen beeinflusste Niedriglichtbereiche, zu erheblichen Domänenlücken. Dies behindert synthetisch trainierte Modelle bei der ordnungsgemäßen Entfernung von Regenspuren und führt zu Überhelligkeit (over-saturation) und Farbverschiebungen.Aus diesem Grund stellen wir NightRain vor, eine neuartige Methode zur Regenentfernung in Nachtsvideos mit adaptiver Regenentfernung und adaptiver Korrektur. Unsere adaptive Regenentfernung nutzt unbeschriftete regnerische Videos, um unserem Modell die Fähigkeit zu verleihen, echte regnerische Nachtsvideos zu entregnen, insbesondere in Bereichen mit komplexen Lichteffekten. Das Konzept besteht darin, unserem Modell basierend auf Vertrauenswerten (confidence scores) regenfreie Bereiche zu ermöglichen. Sobald regenfreie Bereiche und die entsprechenden Bereiche aus unserer Eingabe gewonnen sind, können wir regionspezifische gepaarte reale Daten haben. Diese gepaarten Daten werden verwendet, um unser Modell unter Verwendung eines Lehrer-Schüler-Frameworks zu trainieren. Dies ermöglicht es dem Modell, iterativ von weniger anspruchsvollen Regionen zu den anspruchsvolleren Regionen zu lernen.Unsere adaptive Korrektur zielt darauf ab, Fehler in den Vorhersagen unseres Modells wie Überhelligkeit und Farbverschiebung zu beheben. Das Konzept besteht darin, aus klaren Nacht-Eingabevideos basierend auf den Unterschieden oder Abständen zwischen diesen Eingabevideos und ihren entsprechenden Vorhersagen zu lernen. Unser Modell lernt aus diesen Unterschieden und zwingt sich selbst dazu, die Fehler zu korrigieren.Durch umfangreiche Experimente zeigt unsere Methode Spitzenleistungen (state-of-the-art performance). Sie erreicht einen PSNR-Wert von 26,73 dB und übertrifft bestehende Methoden zur Regenentfernung in Nachtsvideos um einen beträchtlichen Marginal von 13,7 %.