Rekurrentes Squeeze-and-Excitation-Kontext-Aggregationsnetzwerk für die Entfernung von Regen aus Einzelbildern

Regenstreifen können die Sichtbarkeit erheblich verschlechtern und führen dazu, dass viele aktuelle Computer-Vision-Algorithmen nicht mehr funktionieren. Daher ist es notwendig, Regen von Bildern zu entfernen. Wir schlagen eine neuartige tiefen Netzwerkarchitektur vor, die auf tiefen Faltungs- und rekurrenten neuronalen Netzen basiert, um Regen aus einzelnen Bildern zu entfernen (single image deraining). Da kontextuelle Informationen für die Entfernung von Regen sehr wichtig sind, verwenden wir zunächst ein dilatiertes Faltungsneuronales Netz (dilated convolutional neural network), um einen großen Rezeptionsbereich zu erlangen. Um besser an die Aufgabe der Regenentfernung anzupassen, modifizieren wir das Netzwerk ebenfalls. Bei starkem Regen haben Regenstreifen verschiedene Richtungen und Formen, die als Akkumulation mehrerer Regenschichten betrachtet werden können. Wir weisen verschiedenen Regenschichten gemäß Intensität und Transparenz unterschiedliche Alpha-Werte zu, indem wir den Squeeze-and-Excitation-Block integrieren. Da sich die Regenschichten gegenseitig überlappen, ist es nicht einfach, den Regen in einer einzigen Stufe zu entfernen. Deshalb zerlegen wir den Prozess der Regenentfernung in mehrere Stufen. Ein rekurrentes neuronales Netz wird verwendet, um nützliche Informationen aus früheren Stufen zu bewahren und so den Prozess der Regenentfernung in späteren Stufen zu unterstützen. Wir führen umfangreiche Experimente sowohl auf synthetischen als auch auf realweltlichen Datensätzen durch. Unsere vorgeschlagene Methode übertrifft alle aktuellen Ansätze bei allen Bewertungskriterien. Der Quellcode und ergänzendes Material sind auf unserer Projektwebseite verfügbar: https://xialipku.github.io/RESCAN.