Die Klärung der Luft: Eine tiefe Netzarchitektur zur Regenentfernung in Einzelbildern

Wir stellen eine tiefe Netzwerkarchitektur namens DerainNet vor, die dazu dient, Regenstreifen von Bildern zu entfernen. Basierend auf dem tiefen Faltungsneuralnetz (CNN) lernen wir direkt die Abbildungsbeziehung zwischen regennassen und sauberen Bildetail-Lagen aus Daten. Da wir über die Wahrheit, die den realen regennassen Bildern entspricht, nicht verfügen, synthetisieren wir Bilder mit Regen für das Training. Im Gegensatz zu anderen gängigen Strategien, die Tiefe oder Breite des Netzes erhöhen, nutzen wir Wissen aus dem Bereich der Bildverarbeitung, um die Zielfunktion zu modifizieren und so mit einem moderat dimensionierten CNN das Entfernen von Regenstreifen zu verbessern. Genauer gesagt trainieren wir unser DerainNet auf der Detail- (Hochpass-) Schicht anstatt im Bildbereich. Obwohl DerainNet auf synthetischen Daten trainiert wird, stellt sich heraus, dass das gelernte Netzwerk bei realen Bildern zur Testphase sehr effektiv anwendbar ist. Darüber hinaus erweitern wir den CNN-Rahmen durch Bildverbesserungstechniken, um die visuellen Ergebnisse zu verbessern. Verglichen mit den besten bisher bekannten Methoden zur De-Regierung einzelner Bilder zeichnet sich unsere Methode durch eine bessere Regenentfernung und deutlich kürzere Rechenzeiten nach dem Netzwerkausbau aus.