Tiefen-Attentionale Merkmale für die Regenentfernung aus Einzelbildern

Regen ist ein häufiges Wetterphänomen, bei dem die Sichtbarkeit von Objekten in Abhängigkeit von ihrer Entfernung von der Kamera variiert, wobei entfernte Objekte aufgrund von Nebel stärker visuell blockiert werden als durch Regentropfenstreifen. Bisherige Methoden und Datensätze zur Regenentfernung berücksichtigen jedoch diese physikalischen Eigenschaften nicht, was die Effizienz der Regenentfernung auf realen Fotos einschränkt. In dieser Arbeit analysieren wir zunächst die visuellen Auswirkungen von Regen in Abhängigkeit von der Szenentiefe und formulieren ein Regen-Bildgebungsmodell, das sowohl Regentropfenstreifen als auch Nebel gemeinsam berücksichtigt. Anschließend erstellen wir einen neuen Datensatz namens RainCityscapes, der auf realen Außenfotos sowohl Regentropfenstreifen als auch Nebel enthält. Darüber hinaus entwerfen wir ein end-to-end tiefes neuronales Netzwerk, bei dem mittels einer tiefenführungsabhängigen Aufmerksamkeitsmechanik Tiefen-Aufmerksamkeitsmerkmale gelernt werden, und eine Residuenkarte regressiert wird, um ein regenfreies Bild zu erzeugen. Wir führen verschiedene Experimente durch, um unsere Methode visuell und quantitativ mit mehreren state-of-the-art-Verfahren zu vergleichen und ihre Überlegenheit gegenüber anderen Methoden zu belegen.