Zur schattenfreien Schattenentfernung mittels Dualer Hierarchischer Aggregationssnetzwerk und Schatten-Matting-GAN

Die Entfernung von Schatten ist eine zentrale Aufgabe für das Szenenverstehen. Viele Studien berücksichtigen lediglich die Anpassung der Bildinhalte, was häufig zwei Arten von Artefakten verursacht: Farbinhomogenitäten in Schattenbereichen oder Artefakte entlang der Schattenränder. In diesem Paper greifen wir diese Probleme auf zwei Weisen an. Erstens schlagen wir eine neuartige Netzwerkarchitektur namens Dual Hierarchically Aggregation Network (DHAN) vor, um ein kantenfreies Bild mit hohem Detailgrad zu lernen. DHAN basiert auf einer Reihe von wachsenden dilatierten Konvolutionen ohne jegliche Down-Sampling-Schritte und aggregiert hierarchisch mehrschichtige Kontextmerkmale jeweils für Aufmerksamkeit und Vorhersage. Zweitens argumentieren wir, dass die Trainingsdatenmenge begrenzt ist und damit das texturale Verständnis des Netzwerks einschränkt, was zu Farbinhomogenitäten in Schattenregionen führt. Aktuell umfasst das größte verfügbare Datenset über 2.000 Paare aus Schatten- und schattenfreien Bildern. Allerdings enthält es nur etwa 100 einzigartige Szenen, da viele Proben exakt denselben Hintergrund mit unterschiedlichen Schattenpositionen aufweisen. Um dies zu überwinden, entwickeln wir ein Shadow Matting Generatives Adversariales Netzwerk (SMGAN), das realistische Schattenmasken aus einer gegebenen Schattenmaske und einem schattenfreien Bild synthetisiert. Durch die Verwendung neu generierter Masken oder Szenen erweitern wir die bestehenden Datensätze mit synthetischen Schattenbildern. Experimente zeigen, dass unser DHAN Schatten effektiv entfernen und hochwertige, artefaktfreie Bilder erzeugen kann. Nach dem Training auf sowohl synthetischen als auch realen Datensätzen übertrifft unser Netzwerk andere state-of-the-art-Methoden deutlich. Der Quellcode ist verfügbar unter: http://github.com/vinthony/ghost-free-shadow-removal/