Unüberwachtes, auf tiefer neuronalen Netzen basierendes Pansharpening mit gemeinsam verbessertem spektralem und räumlichem Fidelity

In den letzten Jahren hat das Deep Learning eine führende Rolle bei der Pansharpening von Multiresolutionsbildern übernommen. Aufgrund des Fehlens von Ground-Truth-Daten führen die meisten auf Deep Learning basierenden Methoden eine überwachte Trainingsphase im reduzierten Auflösungsraum durch. Modelle, die auf verkleinerten Bildern trainiert wurden, erzielen jedoch oft eine schlechte Leistung bei hochauflösenden Zielbildern. Aus diesem Grund wenden sich nun mehrere Forschungsgruppen einer unsupervisierten Trainingsstrategie im vollen Auflösungsraum zu, indem sie geeignete Verlustfunktionen und Trainingsparadigmen definieren. In diesem Kontext haben wir kürzlich einen Framework zur vollständigen Auflösung vorgestellt, der auf zahlreiche bestehende Architekturen angewendet werden kann.Hier präsentieren wir ein neues, auf Deep Learning basierendes Pansharpening-Modell, das das volle Potenzial dieses Ansatzes voll ausschöpft und eine state-of-the-art Leistung erzielt. Neben architektonischen Verbesserungen gegenüber früheren Arbeiten – beispielsweise der Einsatz von Residual-Attention-Modulen – verfügt das vorgeschlagene Modell über eine neuartige Verlustfunktion, die gleichzeitig die spektrale und räumliche Qualität der pansharpened Daten fördert. Zudem ermöglicht eine neue Feinabstimmungsstrategie eine verbesserte Adaptation während der Inferenzphase an die Zielbilder. Experimente an einer Vielzahl von Testbildern unter anspruchsvollen Bedingungen zeigen, dass das vorgeschlagene Verfahren sowohl hinsichtlich numerischer Ergebnisse als auch hinsichtlich visueller Qualität gegenüber dem Stand der Technik besticht. Der Quellcode ist online unter https://github.com/matciotola/Lambda-PNN verfügbar.