Auto-Expositionssynthese für Schattenentfernung in Einzelbildern

Die Entfernung von Schatten stellt aufgrund ihrer inhärenten, vom Hintergrund abhängigen und räumlich variablen Eigenschaften nach wie vor eine herausfordernde Aufgabe dar, was zu unbekannten und vielfältigen Schattenmustern führt. Selbst leistungsstarke, state-of-the-art tief neuronalen Netze können den schattenfreien Hintergrund kaum vollständig rekonstruieren. In dieser Arbeit wird eine neue Lösung für diese Aufgabe vorgeschlagen, indem sie als ein Expositions-Fusionsproblem formuliert wird, um die Herausforderungen anzugehen. Intuitiv können wir zunächst mehrere überbelichtete Bilder im Bezug zum Eingangsbild schätzen, sodass die Schattenbereiche in diesen Bildern die gleiche Farbe wie schattenfreie Bereiche im Eingangsbild haben. Anschließend fügen wir das ursprüngliche Eingangsbild mit den überbelichteten Bildern zusammen, um das endgültige schattenfreie Pendant zu erzeugen. Dennoch erfordert die räumlich variable Eigenschaft des Schattens, dass die Fusion hinreichend „intelligent“ ist, d.h., sie sollte automatisch geeignete überbelichtete Pixel aus verschiedenen Bildern auswählen, um eine natürliche Endausgabe zu gewährleisten. Um dieser Herausforderung gerecht zu werden, schlagen wir das schattenbewusste FusionNet vor, das das Schattenbild als Eingabe verwendet, um Fusionsgewichtskarten für alle überbelichteten Bilder zu generieren. Darüber hinaus stellen wir das randbewusste RefineNet vor, um die verbleibenden Schattenspuren weiter zu reduzieren. Wir führen umfangreiche Experimente auf den Datensätzen ISTD, ISTD+ und SRD durch, um die Effektivität unserer Methode zu validieren und zeigen bessere Leistung in Schattenbereichen sowie vergleichbare Leistung in nicht-schattigen Bereichen gegenüber state-of-the-art Methoden. Das Modell und der Code werden unter https://github.com/tsingqguo/exposure-fusion-shadow-removal veröffentlicht.