TransWeather: Wiederherstellung von Bildern, die durch ungünstige Wetterbedingungen beeinträchtigt sind

Das Entfernen von ungünstigen Wetterbedingungen wie Regen, Nebel und Schnee aus Bildern ist ein wichtiges Problem in vielen Anwendungen. Die meisten Methoden, die in der Literatur vorgeschlagen wurden, sind darauf ausgelegt, nur eine Art von Degradierung zu beseitigen. Kürzlich wurde eine CNN-basierte Methode unter Verwendung von neuronalen Architektursuchverfahren (All-in-One) vorgestellt, um alle Wetterbedingungen gleichzeitig zu entfernen. Diese Methode verfügt jedoch über eine große Anzahl von Parametern, da sie mehrere Encoder für jede Wetterentfernungsaufgabe verwendet, und es besteht immer noch Verbesserungspotential hinsichtlich ihrer Leistungsfähigkeit. In dieser Arbeit konzentrieren wir uns auf die Entwicklung einer effizienten Lösung für das Problem des Entfernens aller ungünstigen Wetterbedingungen. Dazu schlagen wir TransWeather vor, ein transformerbasiertes End-to-End-Modell mit nur einem Encoder und einem Decoder, das ein durch beliebige Wetterbedingungen degeneriertes Bild wiederherstellen kann. Insbesondere nutzen wir einen neuartigen Transformer-Encoder mit intrapatch Transformer-Blöcken, um die Aufmerksamkeit innerhalb der Patches zu verstärken und so kleinere Wetterschäden effektiv zu beseitigen. Wir führen außerdem einen Transformer-Decoder mit lernfähigen Wettypembeddings ein, um sich an die jeweilige Wetterschädigung anzupassen. TransWeather erzielt Verbesserungen in mehreren Testdatensätzen im Vergleich sowohl zum All-in-One-Netzwerk als auch zu Methoden, die für spezifische Aufgaben feinjustiert wurden. TransWeather wurde auch anhand realer Testbilder validiert und als wirksamer als frühere Methoden befunden. Der Implementierungscode ist unter https://github.com/jeya-maria-jose/TransWeather abrufbar.