Raumbezogene Einzelbild-Entregnung mit einem hochwertigen Datensatz realer Regen

Das Entfernen von Regenstreifen aus einem einzelnen Bild hat in letzter Zeit erhebliches Interesse geweckt, da Regenstreifen die Bildqualität stark verschlechtern können und die Leistung bestehender outdoor-Visionsaufgaben beeinflussen. Obwohl kürzlich entwickelte CNN-basierte Entregenverfahren vielversprechende Ergebnisse berichtet haben, bleibt das Entfernen von Regenstreifen aufgrund zweier Gründe ein offenes Problem. Erstens haben existierende synthetische Regendatensätze nur begrenzte Realismus, was die Modellierung realistischer Regeneigenschaften wie Form, Richtung und Intensität betrifft. Zweitens gibt es keine öffentlichen Benchmarks für quantitative Vergleiche auf realen Regenbildern, was die aktuelle Bewertung weniger objektiv macht. Die Kernherausforderung besteht darin, dass echte Regen-/Reinbildpaare nicht gleichzeitig aufgenommen werden können.In dieser Arbeit adressieren wir das Problem des Entfernens von Regenstreifen aus einem einzelnen Bild auf zwei Arten. Erstens schlagen wir eine semi-automatische Methode vor, die zeitliche A-priori-Wissen und menschliche Überwachung kombiniert, um aus jeder Eingabe-Sequenz von echten Regenbildern ein hochwertiges Reinbild zu generieren. Mit Hilfe dieser Methode erstellen wir einen groß angelegten Datensatz mit $\sim$$29{,}5K$ Regen-/Regenfreibildpaaren, der eine breite Palette natürlicher Regenszenarien abdeckt. Zweitens, um die stochastische Verteilung realer Regenstreifen besser zu erfassen, schlagen wir ein neues SPatial Attentive Network (SPANet) vor, das Regenstreifen in einer lokal-zu-globalen Weise entfernt. Ausführliche Experimente zeigen, dass unser Netzwerk sich günstig mit den besten aktuellen Entregenverfahren vergleicht.