Einzelbild-Reflexionsentfernung unter Verwendung von fehlerhaft ausgerichteten Trainingsdaten und Netzwerkverbesserungen

Die Entfernung unerwünschter Reflexionen aus einem einzelnen Bild, das durch ein Glassfenster aufgenommen wurde, ist von praktischer Bedeutung für visuelle Computingsysteme. Obwohl moderne Methoden in bestimmten Situationen gute Ergebnisse erzielen können, nimmt die Leistung bei der Bearbeitung allgemeiner realweltlicher Fälle erheblich ab. Diese Misserfolge resultieren aus den intrinsischen Schwierigkeiten der Reflexionsentfernung aus einem einzelnen Bild – der grundlegenden Fehlstellung des Problems und dem Mangel an dicht beschrifteten Trainingsdaten, die erforderlich sind, um diese Unbestimmtheit innerhalb lernbasierter neuronalernetzbasierte Pipelines zu lösen. In dieser Arbeit adressieren wir diese Probleme durch gezielte Netzwerkverbesserungen und die neuartige Nutzung fehlerhaft ausgerichteter Daten. Für das Erstere ergänzen wir eine Baseline-Netzwerkarchitektur durch den Einbau von Kontextkodierungsmodulen, die in der Lage sind, hochwertige kontextuelle Hinweise zu nutzen, um die Unbestimmtheit in Bereichen mit starken Reflexionen zu reduzieren. Für Letzteres führen wir eine ausrichtungsinvariante Verlustfunktion ein, die es ermöglicht, fehlerhaft ausgerichtete realweltliche Trainingsdaten zu nutzen, die viel einfacher zu sammeln sind. Die experimentellen Ergebnisse zeigen zusammenfassend, dass unsere Methode mit ausgerichteten Daten den aktuellen Stand der Technik übertrifft und dass durch den Einsatz zusätzlicher fehlerhaft ausgerichteter Daten erhebliche Verbesserungen möglich sind.