Multi-Skaliges progressivierendes Fusionsnetzwerk für die Regenentfernung aus einer einzigen Bildaufnahme

Regentropfen im Luftraum erscheinen aufgrund unterschiedlicher Entfernungen zwischen ihrer Position und der Kamera in verschiedenen Verschmierungsgraden und Auflösungen. Ähnliche Regenmuster sind sowohl in einem regenbehafteten Bild als auch in dessen mehrskaligen (bzw. mehrresolutionellen) Versionen sichtbar, was die Nutzung dieser ergänzenden Informationen zur Darstellung von Regenstreifen ermöglicht. In dieser Arbeit untersuchen wir die mehrskalige kooperative Darstellung von Regenstreifen aus der Perspektive der Eingabebildskalen und hierarchischer tiefer Merkmale in einem einheitlichen Rahmen, der als mehrskaliger fortschreitender Fusionsnetzwerk (Multi-Scale Progressive Fusion Network, MSPFN) für die Entfernung von Regenstreifen aus Einzelbildern bezeichnet wird. Für ähnliche Regenstreifen an unterschiedlichen Positionen setzen wir rekursive Berechnung ein, um die globale Textur zu erfassen, wodurch die Exploration ergänzender und redundanter Informationen in räumlicher Dimension zur Charakterisierung der Zielregenstreifen ermöglicht wird. Zusätzlich konstruieren wir eine mehrskalige Pyramidenstruktur und führen zudem eine Aufmerksamkeitsmechanik ein, um die präzise Fusion dieser korrelierten Informationen aus verschiedenen Skalen zu leiten. Diese mehrskalige fortschreitende Fusionsstrategie fördert nicht nur die kooperative Darstellung, sondern verbessert auch die end-to-end-Trainierbarkeit. Unser vorgeschlagenes Verfahren wird umfassend an mehreren Benchmark-Datensätzen evaluiert und erreicht dabei Ergebnisse auf dem Stand der Technik. Darüber hinaus führen wir Experimente zu kombinierten Aufgaben der Entregung, Erkennung und Segmentierung durch und eröffnen so eine neue Forschungsrichtung, die auf visuellen Aufgaben basierende Entregung verfolgt. Der Quellcode ist unter \url{https://github.com/kuihua/MSPFN} verfügbar.