Fast Full-Resolution Target-Adaptive CNN-basiertes Pansharpening-Framework

In den letzten Jahren hat sich ein erneutes Interesse an Datenfusionstechniken entwickelt, insbesondere an der Pansharpening-Technik, bedingt durch einen Paradigmenwechsel von modellbasierten zu datengetriebenen Ansätzen, der durch die jüngsten Fortschritte im Bereich des tiefen Lernens unterstützt wird. Obwohl eine Vielzahl von Faltungsneuronalen Netzen (CNN) für das Pansharpening vorgeschlagen wurde, bleiben einige grundlegende Fragen weiterhin ungeklärt. Unter diesen sind die Fähigkeit zur generalisierten Anwendung über verschiedene Skalen und Datensätze wahrscheinlich die dringendsten, da die meisten derzeitigen Netzwerke auf einer verkleinerten Auflösung trainiert werden und im Allgemeinen nur auf bestimmten Datensätzen gut funktionieren, aber auf anderen versagen. Ein kürzlich vorgestellter Ansatz zur Lösung beider Probleme nutzt eine zieladaptierte Inferenzstrategie, die mit einer geeigneten Vollauflösungsverlustfunktion arbeitet. Ein Nachteil dieses Vorgehens liegt in der zusätzlichen Rechenlast, die durch die Adaptationsphase entsteht. In dieser Arbeit präsentieren wir eine Variante dieses Verfahrens mit einer effektiven Zieladaptation, die es ermöglicht, die Inferenzzeit im Durchschnitt um den Faktor zehn zu reduzieren, ohne dabei an Genauigkeit zu verlieren. Eine umfangreiche Reihe von Experimenten an drei unterschiedlichen Datensätzen – GeoEye-1, WorldView-2 und WorldView-3 – belegt den erzielten Recheneffizienzgewinn, während gleichzeitig Spitzenwerte an Genauigkeit im Vergleich zu aktuellen state-of-the-art-Methoden, sowohl modellbasierten als auch tiefen Lernansätzen, erreicht werden. Die Allgemeingültigkeit des vorgeschlagenen Ansatzes wurde zudem bestätigt, indem das neue Adaptationsframework auf verschiedene CNN-Modelle angewandt wurde.