Schattenentfernung durch Schattenbildzerlegung

Wir schlagen eine neuartige Tiefenlernmethode für die Schattenentfernung vor. Inspiriert von physikalischen Modellen der Schattenbildung verwenden wir eine lineare Beleuchtungstransformation, um die Schattenwirkungen im Bild zu modellieren, wodurch das schattierte Bild als Kombination des schattenfreien Bildes, der Schattenparameter und einer Matte-Schicht dargestellt werden kann. Wir nutzen zwei Tiefennetze, nämlich SP-Net und M-Net, um die Schattenparameter und die Schattenmatte jeweils zu prognostizieren. Dieses System ermöglicht es uns, die Schattenwirkungen auf den Bildern zu entfernen. Wir trainieren und testen unser Framework auf dem anspruchsvollsten Datensatz für die Schattenentfernung (ISTD). Im Vergleich zur besten bisherigen Methode erreicht unser Modell eine Fehlerrateverringerung von 40 % in Bezug auf den quadratischen Mittelwertfehler (RMSE) für den Schattengebiet, indem der RMSE von 13,3 auf 7,9 reduziert wird. Darüber hinaus erstellen wir einen erweiterten ISTD-Datensatz basierend auf einem Bildzerlegungssystem durch Modifizierung der Schattenparameter zur Generierung neuer synthetischer Schattengrafiken. Das Training unseres Modells auf diesem neuen erweiterten ISTD-Datensatz senkt den RMSE im Schattengebiet weiter auf 7,4.