Command Palette
Search for a command to run...
Tiefen-Attentionale Merkmale für die Regenentfernung aus Einzelbildern
Tiefen-Attentionale Merkmale für die Regenentfernung aus Einzelbildern
Pheng-Ann Heng Lei Zhu Chi-Wing Fu Xiaowei Hu
Zusammenfassung
Regen ist ein häufiges Wetterphänomen, bei dem die Sichtbarkeit von Objekten in Abhängigkeit von ihrer Entfernung von der Kamera variiert, wobei entfernte Objekte aufgrund von Nebel stärker visuell blockiert werden als durch Regentropfenstreifen. Bisherige Methoden und Datensätze zur Regenentfernung berücksichtigen jedoch diese physikalischen Eigenschaften nicht, was die Effizienz der Regenentfernung auf realen Fotos einschränkt. In dieser Arbeit analysieren wir zunächst die visuellen Auswirkungen von Regen in Abhängigkeit von der Szenentiefe und formulieren ein Regen-Bildgebungsmodell, das sowohl Regentropfenstreifen als auch Nebel gemeinsam berücksichtigt. Anschließend erstellen wir einen neuen Datensatz namens RainCityscapes, der auf realen Außenfotos sowohl Regentropfenstreifen als auch Nebel enthält. Darüber hinaus entwerfen wir ein end-to-end tiefes neuronales Netzwerk, bei dem mittels einer tiefenführungsabhängigen Aufmerksamkeitsmechanik Tiefen-Aufmerksamkeitsmerkmale gelernt werden, und eine Residuenkarte regressiert wird, um ein regenfreies Bild zu erzeugen. Wir führen verschiedene Experimente durch, um unsere Methode visuell und quantitativ mit mehreren state-of-the-art-Verfahren zu vergleichen und ihre Überlegenheit gegenüber anderen Methoden zu belegen.