Bijectives Abbildungsnetzwerk für Schattenentfernung

Die Schattenentfernung, die darauf abzielt, die Hintergrundinhalte in Schattenbereichen wiederherzustellen, ist aufgrund ihrer stark schlecht gestellten Natur herausfordernd. Die meisten bestehenden Methoden basierend auf tiefen neuronalen Netzen entfernen Schatten einzeln, indem sie ausschließlich die Inhalte entsprechender Paarbilder berücksichtigen, wobei die ergänzende Supervision der Schattenbildung für den Prozess der Schattenentfernung kaum berücksichtigt wird. In dieser Arbeit argumentieren wir, dass Schattenentfernung und -generierung miteinander verwandt sind und sich gegenseitig nützliche informelle Supervision liefern können. Genauer stellen wir ein neues bi-jektives Abbildungsnetzwerk (BMNet) vor, das die Lernprozesse der Schattenentfernung und -generierung in einem einheitlichen, parametergeteilten Rahmen verknüpft. Durch konsistente zweiseitige Beschränkungen und synchronisierte Optimierung beider Prozesse kann BMNet effektiv die zugrundeliegenden Hintergrundinhalte während des Vorwärtsprozesses der Schattenentfernung rekonstruieren. Darüber hinaus beobachten und bestätigen wir anhand einer statistischen Analyse realer Datensätze, dass die Erscheinungsform von Schatten unter verschiedenen Farbspektren inkonsistent ist. Dies motiviert uns, ein schatteninvariantes Farb-Führungsmodul (SICGM) zu entwerfen, das die gelernten schatteninvarianten Farbinformationen explizit nutzt, um die Farbrekonstruktion des Netzwerks zu leiten und somit die Farbverzerrung weiter zu verringern. Experimente an den repräsentativen Benchmarks ISTD, ISTD+ und SRD zeigen, dass unser vorgeschlagenes Netzwerk die Leistung der Stand der Technik-Methode [??] bei der Schattenentfernung übertrifft, wobei lediglich 0,25 % der Netzwerkparameter und 6,25 % der Floating-Point-Operationen (FLOPs) dieser Methode verwendet werden.