Von der Schattengenerierung zur Schattenentfernung

Die Schattenentfernung ist eine Aufgabe im Bereich des Computersehens, die darauf abzielt, den Inhalt von Bildbereichen, die im Schatten liegen, wiederherzustellen. Während fast alle jüngeren Methoden zur Schattenentfernung zur Trainingszeit schattenfreie Bilder erfordern, stellte Le und Samaras im Jahr 2020 bei ECCV einen innovativen Ansatz vor, der diesen Anspruch nicht erfüllt, indem sie aus Schattenbildern Patch-Regionen mit und ohne Schatten als Trainingsbeispiele extrahieren. Dennoch ist die Erzeugung einer großen Menge solcher ungepaarter Patch-Regionen weiterhin aufwändig und zeitaufwendig. In diesem Artikel stellen wir ein neues Modell, G2R-ShadowNet, vor, das die Schattenentfernung schwach überwacht durch Nutzung der Schattengenerierung ermöglicht und lediglich eine Menge von Schattenbildern sowie deren entsprechenden Schattenmasken als Trainingsdaten benötigt. Das vorgeschlagene G2R-ShadowNet besteht aus drei Teilnetzwerken zur Schattengenerierung, Schattenentfernung und Nachbearbeitung, die gemeinsam end-to-end trainiert werden. Insbesondere stilisiert das Sub-Netzwerk zur Schattengenerierung Bereiche ohne Schatten so, dass sie wie schattige Bereiche aussehen, wodurch gepaarte Daten für das Training des Schattenentfernungssub-Netzwerks entstehen. Umfangreiche Experimente auf dem ISTD-Datensatz und dem Video Shadow Removal-Datensatz zeigen, dass das vorgeschlagene G2R-ShadowNet Leistungen erzielt, die mit den derzeitigen State-of-the-Art-Methoden konkurrieren und die Patch-basierte Methode von Le und Samaras übertrifft.