Entfernung von Regentropfen und Regenstreifen in einem Zug

Bekannte Regenentfernungsalgorithmen behandeln oft entweder die Entfernung von Regenspuren oder die Entfernung von Regentropfen, wodurch sie möglicherweise an realen, nassen Szenen scheitern. Zudem behindert die fehlende Verfügbarkeit realer Datensätze zur Regenentfernung, die verschiedene Arten von Regen und ihre entsprechenden regenfreien Referenzdaten enthalten, die Entwicklung fortschrittlicher Entregen-Algorithmen. In diesem Paper zielen wir darauf ab, die Herausforderungen der realen Welt bei der Regenentfernung aus zwei Perspektiven anzugehen. Erstens schlagen wir eine komplementäre kaskadierte Netzwerkarchitektur, namens CCN, vor, um sowohl Regenspuren als auch Regentropfen in einem einheitlichen Rahmen zu entfernen. Insbesondere entfernt unsere CCN die Regentropfen und Regenspuren komplementär, d. h. entweder zunächst die Tropfenfolge gefolgt von der Spurenentfernung und umgekehrt, und fusioniert anschließend die Ergebnisse mittels eines auf Aufmerksamkeit basierenden Fusionmoduls. Angesichts der erheblichen Unterschiede in Form und Struktur zwischen Regenspuren und Regentropfen ist es schwierig, manuell eine komplexe Netzwerkarchitektur zu entwerfen, die beide effektiv entfernt. Daher nutzen wir ein neuronales Architektursuchverfahren (Neural Architecture Search), um adaptiv optimale Architekturen innerhalb eines vorgegebenen Suchraums für die Regenentfernung zu finden. Zweitens präsentieren wir einen neuen realen Welt-Datensatz für Regen, namens RainDS, um die Entwicklung von Entregen-Algorithmen in praktischen Anwendungsszenarien zu fördern. RainDS umfasst Bilder mit unterschiedlichen Regenarten und ihre entsprechenden regenfreien Referenzdaten, einschließlich Bilder mit reinen Regenspuren, reinen Regentropfen sowie Kombinationen beider. Ausführliche experimentelle Ergebnisse sowohl auf bestehenden Benchmark-Datensätzen als auch auf RainDS zeigen, dass unsere Methode die aktuell besten Ansätze übertrifft.