Stilgesteuerte Schattenentfernung

Die Schattenentfernung ist ein zentrales Thema in der Bildrestaurierung und kann zahlreichen Aufgaben im Bereich des Computer Vision zugutekommen. Moderne Methoden zur Schattenentfernung basieren typischerweise auf tiefen neuronalen Netzen, wobei die pixelweise Differenz zwischen dem entschatteten Bereich und dessen entsprechender (Pseudo-) schattenfreier Version minimiert wird. Nach der Schattenentfernung können Schatten- und Nicht-Schattenbereiche jedoch ungleichmäßige Erscheinungsbilder aufweisen, was zu visuell inkonsistenten Bildern führen kann. Um dieses Problem anzugehen, schlagen wir ein stilgesteuertes Netzwerk zur Schattenentfernung (SG-ShadowNet) vor, um eine bessere Stilkonsistenz im Bild nach der Schattenentfernung zu gewährleisten. Im SG-ShadowNet lernen wir zunächst über einen einfachen Regionen-Stil-Schätzer die Stilrepräsentation des Nicht-Schattenbereichs. Anschließend stellen wir eine neuartige und effektive Normalisierungsstrategie vor, die auf der Regionsebene basiert, um den grob rekonstruierten Schattenbereich besser an den Rest des Bildes anzupassen. Umfangreiche Experimente zeigen, dass unser vorgeschlagenes SG-ShadowNet alle bestehenden konkurrenzfähigen Modelle übertrifft und auf den Benchmark-Datensätzen ISTD+, SRD und Video Shadow Removal eine neue state-of-the-art-Leistung erzielt. Der Quellcode ist unter folgender Adresse verfügbar: https://github.com/jinwan1994/SG-ShadowNet.