Richtungsbewusste räumliche Kontextmerkmale für Schatten-Erkennung und -Entfernung

Schattenerkennung und Schattenentfernung sind grundlegende und herausfordernde Aufgaben, die ein Verständnis der globalen Bildsemantik erfordern. In dieser Arbeit wird ein neues tiefes neuronales Netzwerkdesign für Schattenerkennung und -entfernung vorgestellt, das den räumlichen Bildkontext in einer richtungsbezogenen Weise analysiert. Um dies zu erreichen, formulieren wir zunächst den richtungsbezogenen Aufmerksamheitsmechanismus in einem räumlichen rekurrenten neuronalen Netzwerk (RNN), indem wir Aufmerksamkeitsgewichte bei der Aggregation von räumlichen Kontextmerkmalen im RNN einführen. Durch das Lernen dieser Gewichte während des Trainings können wir einen richtungsbezogenen räumlichen Kontext (DSC) für die Erkennung und Entfernung von Schatten wiederherstellen. Dieses Design wurde in den DSC-Modul weiterentwickelt und in ein konvolutionsneuronales Netzwerk (CNN) eingebettet, um DSC-Merkmale auf verschiedenen Ebenen zu lernen. Darüber hinaus haben wir eine gewichtete Kreuzentropieverlustfunktion entwickelt, um das Training für die Schattenerkennung effektiv zu gestalten, und das Netzwerk für die Schattenentfernung durch Verwendung einer euklidischen Verlustfunktion und Formulierung einer Farbübertragungsfunktion weiter angepasst, um die Farb- und Helligkeitsunterschiede in den Trainingspaaren zu berücksichtigen. Wir haben zwei Benchmark-Datensätze für Schattenerkennung und zwei Benchmark-Datensätze für Schattenentfernung verwendet und verschiedene Experimente durchgeführt, um unsere Methode zu evaluieren. Die experimentellen Ergebnisse zeigen, dass unsere Methode sowohl bei der Schattenerkennung als auch bei der Schattenentfernung günstig mit den Stand-of-the-Art-Methoden konkurriert.