ShadowFormer: Globale Kontextinformationen unterstützen die Entfernung von Bildschatten

Neuere Methoden des tiefen Lernens haben vielversprechende Ergebnisse bei der Entfernung von Bildschatten erzielt. Dennoch konzentrieren sich die meisten bestehenden Ansätze auf lokale Bereiche innerhalb von Schatten- und Nicht-Schattenregionen, was zu schwerwiegenden Artefakten an den Schattenrändern sowie zu inkonsistentem Beleuchtungseffekt zwischen Schatten- und Nicht-Schattenregionen führt. Es ist weiterhin eine Herausforderung für Modelle zur tiefen Schattenentfernung, die globale kontextuelle Korrelation zwischen Schatten- und Nicht-Schattenregionen auszunutzen. In dieser Arbeit schlagen wir zunächst ein Retinex-basiertes Schattenmodell vor, aus dem wir ein neuartiges transformerbasiertes Netzwerk ableiten, das als "ShandowFormer" bezeichnet wird, um Nicht-Schattenregionen zu nutzen, die der Restauration von Schattenregionen helfen. Ein mehrskaliger Kanal-Aufmerksamkeitsrahmen wird eingesetzt, um die globale Information hierarchisch zu erfassen. Auf dieser Grundlage entwickeln wir ein Schatten-Interaktionsmodul (SIM) mit Schatten-Interaktionsaufmerksamkeit (SIA) im Flaschenhalsbereich, um die Kontextkorrelation zwischen Schatten- und Nicht-Schattenregionen effektiv zu modellieren. Wir führen umfangreiche Experimente auf drei gängigen öffentlichen Datensätzen durch, einschließlich ISTD, ISTD+ und SRD, um die vorgeschlagene Methode zu evaluieren. Unsere Methode erreicht den aktuellen Stand der Technik durch die Verwendung von bis zu 150-mal weniger Modellparametern.