Schrott oder Schatz? Eine interaktive Dual-Stream-Strategie für die Trennung von Reflexionen in einer einzigen Bildaufnahme

Einzelbild-Reflexions-Trennung (SIRS), als repräsentative Aufgabe der blinden Quellentrennung, zielt darauf ab, zwei Schichten – nämlich Transmission und Reflexion – aus einer einzigen gemischten Beobachtung wiederherzustellen, was aufgrund der stark unterbestimmten Natur der Aufgabe besonders herausfordernd ist. Bestehende Lösungen auf Basis tiefer neuronalen Netze bearbeiten typischerweise die Ziel-Schichten einzeln oder berücksichtigen Wechselwirkungen zwischen den beiden Strömen/Verzweigungen nur am Ende der Ausgabe, wodurch wichtige Informationsinteraktionen vernachlässigt werden. Um Informationen effizienter zu nutzen, präsentieren wir in dieser Arbeit eine allgemeine, jedoch einfache interaktive Strategie, namens Your Trash Is My Treasure (YTMT), zur Konstruktion von Dual-Stream-Zerlegungsnetzwerken. Genauer gesagt, zwingen wir die beiden Ströme explizit blockweise miteinander zu kommunizieren. Inspiriert durch die additive Eigenschaft der beiden Komponenten lässt sich der interaktive Pfad einfach durch Übertragung, anstatt durch Verwerfung, von durch die ReLU-Rectifier deaktivierten Informationen von einem Stream zum anderen aufbauen. Ablationsstudien sowie experimentelle Ergebnisse auf weit verbreiteten SIRS-Datensätzen belegen die Wirksamkeit von YTMT und zeigen dessen Überlegenheit gegenüber anderen state-of-the-art-Alternativen. Die Implementierung ist äußerst einfach, und unser Code ist öffentlich unter $\href{https://github.com/mingcv/YTMT-Strategy}{\textit{https://github.com/mingcv/YTMT-Strategy}}$ verfügbar.