DC-ShadowNet: Entfernung von harten und weichen Schatten in Einzelbildern mithilfe eines unüberwachten domain-klassifizierenden Netzes

Die Entfernung von Schatten aus einem einzelnen Bild ist generell immer noch ein offenes Problem. Die meisten existierenden lernbasierten Methoden verwenden überwachtes Lernen und erfordern eine große Anzahl von gepaarten Bildern (Schattenbilder und entsprechende Schattenfreibilder) für die Ausbildung. Eine kürzlich vorgestellte unüberwachte Methode, Mask-ShadowGAN~\cite{Hu19}, behebt diese Einschränkung. Allerdings benötigt sie eine binäre Maske, um Schattengebiete darzustellen, was sie für weiche Schatten ungeeignet macht. Um dieses Problem anzugehen, schlagen wir in dieser Arbeit ein unüberwachtes domänenklassifikatorgesteuertes Netzwerk zur Schattenentfernung vor, das DC-ShadowNet genannt wird. Insbesondere schlagen wir vor, einen Klassifizierer für Schatten- und Schattenfreigegebiete in den Generator und dessen Diskriminator zu integrieren, um diese auf Schattengebiete zu fokussieren. Für die Ausbildung unseres Netzwerks führen wir neuartige Verlustfunktionen ein, die auf physikalisch begründeter chromatischer Schattenfreiheit, schattenrobusten wahrnehmungsbezogenen Merkmalen und Randglättung basieren. Darüber hinaus zeigen wir, dass unser unüberwachtes Netzwerk für Testzeit-Ausbildung verwendet werden kann, die die Ergebnisse weiter verbessert. Unsere Experimente belegen, dass alle diese neuartigen Komponenten es ermöglichen, dass unsere Methode weiche Schatten verarbeiten kann und auch bei harten Schatten sowohl quantitativ als auch qualitativ bessere Leistungen erzielt als die derzeit besten existierenden Methoden zur Schattenentfernung. Unser Code ist unter folgender URL verfügbar: \url{https://github.com/jinyeying/DC-ShadowNet-Hard-and-Soft-Shadow-Removal}.