Gestapelte bedingte generative adversarische Netze zum gemeinsamen Lernen von Schattenerkennung und Schattenentfernung

Das Verständnis von Schatten aus einem einzelnen Bild gliedert sich spontan in zwei Aufgaben, die in früheren Studien behandelt wurden: Schattenerkennung und Schattenentfernung. In dieser Arbeit präsentieren wir eine mehrfache Aufgabenperspektive, die bisher in keiner existierenden Arbeit berücksichtigt wurde. Diese Perspektive ermöglicht das gemeinsame Lernen von Erkennung und Entfernung in einer end-to-end Methode, die darauf abzielt, gegenseitige Verbesserungen durch den Austausch zwischen den beiden Aufgaben zu nutzen. Unser Framework basiert auf einem neuartigen STacked Conditional Generative Adversarial Network (ST-CGAN), das aus zwei aufeinanderfolgenden CGANs besteht, wobei jedes ein Generator und ein Diskriminator enthält. Insbesondere wird ein Schattenbild dem ersten Generator zugeführt, der ein Schattendetektionsmaskierungsbild erzeugt. Dieses Schattenbild, zusammen mit seiner vorhergesagten Maskierung, wird dann durch den zweiten Generator geleitet, um letztendlich ein schattenfreies Bild wiederherzustellen. Zudem modellieren die beiden entsprechenden Diskriminatoren höchstwahrscheinlich höhere Beziehungen und globale Szenencharakteristika für das detektierte Schattenbereich und die Rekonstruktion durch Entfernung von Schatten jeweils. Von noch größerer Bedeutung ist, dass unser Design des gestapelten Paradigmas eine neue Perspektive bietet, die sich deutlich von der üblichen Mehrzweig-Version unterscheidet. Um die Leistungsfähigkeit unseres vorgeschlagenen Frameworks vollständig zu bewerten, haben wir den ersten großen Benchmark erstellt, der 1870 Bildtripel (Schattenbild, Schattenmaskenbild und schattenfreies Bild) unter 135 Szenarien umfasst. Ausführliche experimentelle Ergebnisse zeigen konsistent die Vorteile des ST-CGAN gegenüber mehreren repräsentativen Stand-of-the-Art-Methoden auf zwei öffentlich zugänglichen Datensätzen großkalibrierter Art sowie auf unserem neu veröffentlichten Datensatz.