MCW-Net: Einzelbild-Deraining mit mehrstufigen Verbindungen und weiten regionalen nicht-lokalen Blöcken

Eine neuere Reihe von auf Faltungsneuralen Netzen basierenden Ansätzen hat bereits Erfolg bei der Erfassung von Regenstreifen gezeigt. Dennoch bestehen weiterhin Schwierigkeiten bei der detaillierten Wiederherstellung der ursprünglichen Hintergrundtextur. In diesem Artikel stellen wir ein Netzwerk mit mehrstufiger Verbindung und breitflächigem nicht-lokalem Block (MCW-Net) vor, das die Wiederherstellung der ursprünglichen Hintergrundstrukturen in regenbelasteten Bildern effektiv ermöglicht. Im Gegensatz zu bestehenden encoder-decoder-basierten Modellen zur Regenentfernung, die ihre Leistung durch zusätzliche Zweigstrukturen verbessern, steigert MCW-Net die Leistung durch maximale Ausnutzung vorhandener Informationen ohne zusätzliche Zweige, wobei zwei neu vorgeschlagene Methoden eingesetzt werden. Die erste Methode ist die mehrstufige Verbindung, bei der mehrstufige Merkmale des Encoder-Netzwerks wiederholt mit dem Decoder-Netzwerk verbunden werden. Diese Verbindung fördert, dass der Dekodierungsprozess Merkmale aller Ebenen nutzt. Dabei wird ein kanalweiser Aufmerksamkeitsmechanismus berücksichtigt, um zu lernen, welche Merkmalsstufe im Dekodierungsprozess der aktuellen Ebene besonders wichtig ist. Die zweite Methode ist der breitflächige nicht-lokale Block. Da Regenstreifen primär eine vertikale Verteilung aufweisen, teilen wir das Bildgitter in horizontal breite Patchs auf und wenden eine nicht-lokale Operation auf jede Region an, um reichhaltige, regenfreie Hintergrundinformationen zu erschließen. Experimentelle Ergebnisse auf synthetischen und realen Welt-Datensätzen zeigen, dass das vorgeschlagene Modell bestehende State-of-the-Art-Modelle signifikant übertrifft. Zudem belegen die Ergebnisse eines gemeinsamen Experiments zur Regenentfernung und Segmentierung, dass unser Modell wirksam zur Unterstützung weiterer visueller Aufgaben beiträgt.