Entfernung von Einzelbildreflexionen durch kaskadierte Verbesserung

Wir behandeln das Problem der Entfernung unerwünschter Reflexionen aus einem einzigen Bild, das durch eine Glasscheibe aufgenommen wurde – ein schlecht gestelltes, herausforderndes, aber praktisch wichtiges Problem für die Bildverbesserung. Inspiriert durch die iterative Strukturreduktion zur Detektion versteckter Gemeinschaften in sozialen Netzwerken, stellen wir ein Iteratives Boost-Konvolutionales LSTM-Netzwerk (IBCLN) vor, das eine kaskadierte Vorhersage für die Reflexionsentfernung ermöglicht. Das IBCLN ist ein kaskadierendes Netzwerk, das die Schätzung der Transmission- und Reflexions-Schichten iterativ verfeinert, wobei sich beide Schichten gegenseitig durch eine gegenseitige Verbesserung der Vorhersagequalität unterstützen. Die Informationsübertragung zwischen den Stufen der Kaskade erfolgt mittels eines LSTM. Die Grundidee beruht darauf, dass die Transmission die starke, dominierende Struktur darstellt, während die Reflexion die schwache, versteckte Struktur ist. In einem einzigen Bild ergänzen sich beide Strukturen komplementär, sodass eine verbesserte Schätzung und Reduktion einer Struktur aus dem ursprünglichen Bild zu einer genaueren Schätzung der anderen Struktur führt. Um das Training über mehrere Kaskadenstufen hinweg zu erleichtern, nutzen wir ein LSTM, um das Problem der verschwindenden Gradienten zu bewältigen, und schlagen eine residuale Rekonstruktionsverlustfunktion als zusätzliche Trainingsanleitung vor. Zudem erstellen wir eine Datensammlung realer Bilder mit Reflexionen und entsprechenden Ground-Truth-Transmission-Schichten, um das Problem der unzureichenden Daten zu mildern. Umfassende Experimente zeigen, dass die vorgeschlagene Methode Reflexionen sowohl in realen als auch in synthetischen Bildern effektiver entfernen kann als aktuelle state-of-the-art-Methoden zur Reflexionsentfernung.