Struktur-Repräsentations-Netzwerk und Unsicherheits-Feedback-Lernverfahren für die Entfernung dichter, nichtuniformer Nebel

Viele bestehende Methoden zur Bildentnebelung oder Entschleierung berücksichtigen keine dichten und nicht gleichmäßigen Partikelverteilungen, die typischerweise in Rauch, Staub und Nebel auftreten. Die Behandlung solcher dichter und/oder nicht gleichmäßiger Verteilungen kann äußerst herausfordernd sein, da die Attenuation durch Nebel und das Airlight (oder Schleier-Effekt) die Hintergrundinformationen im Eingabebild erheblich abschwächen. Um dieses Problem anzugehen, stellen wir ein strukturrepräsentatives Netzwerk mit Unsicherheitsrückkopplungslernen vor. Konkret extrahieren wir Merkmalsdarstellungen aus einem vortrainierten Vision Transformer-Modul (DINO-ViT), um die Hintergrundinformationen wiederherzustellen. Um unser Netzwerk darauf hinzuweisen, sich auf die nicht gleichmäßigen Nebelbereiche zu konzentrieren und den Nebel entsprechend zu entfernen, führen wir das Unsicherheitsrückkopplungslernen ein, das Unsicherheitskarten erzeugt, die in dichteren Nebelregionen eine höhere Unsicherheit aufweisen und als Aufmerksamkeitskarte angesehen werden können, die die Dichte und Ungleichmäßigkeit des Nebels repräsentiert. Auf Basis dieser Unsicherheitskarte verfeinert unser Rückkopplungsnetzwerk iterativ die Entnebelungsausgabe. Darüber hinaus, um die Schwierigkeit der Schätzung der atmosphärischen Lichtfarben zu bewältigen, nutzen wir die Graustufenversion unseres Eingabebildes, da diese weniger von variierenden Lichtfarben beeinflusst wird, die möglicherweise im Eingabebild vorhanden sind. Die experimentellen Ergebnisse belegen die Wirksamkeit unserer Methode sowohl quantitativ als auch qualitativ im Vergleich zu den aktuellen Stand der Technik bei der Behandlung von dichten und nicht gleichmäßigen Nebel- oder Rauchverhältnissen.