Hyperspektrale Pansharpening basierend auf verbesserter Deep Image Prior und Restrekonstruktion

Hyperspektrale Pansharpening-Ziele besteht darin, ein hochauflösendes hyperspektrales Bild (HR-HSI) mit hoher spektraler und räumlicher Auflösung aus einem niederauflösenden hyperspektralen Bild (LR-HSI) und einem registrierten pankromatischen Bild (PAN) zu synthetisieren. Kürzlich vorgestellte Ansätze zur HS-Pansharpening haben dank tiefen konvolutioneller Netze (ConvNets) bemerkenswerte Ergebnisse erzielt, die typischerweise aus drei Schritten bestehen: (1) Aufsampling des LR-HSI, (2) Vorhersage des Residuenbildes mittels eines ConvNets und (3) Erzeugung des endgültigen fusionierten HSI durch Addition der Ergebnisse aus den ersten beiden Schritten. Neuere Methoden haben Deep Image Prior (DIP) genutzt, um das LR-HSI aufzusamplingen, da DIP über eine herausragende Fähigkeit verfügt, sowohl räumliche als auch spektrale Informationen zu bewahren, ohne auf großen Datensätzen zu lernen. Allerdings beobachteten wir, dass die Qualität der aufgesampelten HSIs durch die Einführung einer zusätzlichen räumlichen Einschränkung in die herkömmliche spektrale Energiefunktion weiter verbessert werden kann. Wir definieren unsere räumliche Einschränkung als $L_1$-Distanz zwischen dem vorhergesagten PAN-Bild und dem tatsächlichen PAN-Bild. Um das PAN-Bild des aufgesampelten HSI zu schätzen, schlagen wir außerdem eine lernbare spektrale Antwortfunktion (SRF) vor. Darüber hinaus stellten wir fest, dass das Residuenbild zwischen dem aufgesampelten HSI und dem Referenz-HSI hauptsächlich aus Kanteninformationen und sehr feinen Strukturen besteht. Um diese feinen Details präzise zu erfassen, schlagen wir ein neuartiges überbestimmtes Netzwerk namens HyperKite vor, das darauf abzielt, hochwertige Merkmale zu lernen, indem der Empfindlichkeitsbereich (receptive field) in den tiefen Schichten beschränkt wird. Wir führen Experimente an drei HSI-Datensätzen durch, um die Überlegenheit unseres DIP-HyperKite gegenüber den aktuellen Stand der Technik in der Pansharpening-Verarbeitung zu demonstrieren. Die Implementierungscode, vortrainierten Modelle sowie die endgültigen Fusionsergebnisse von DIP-HyperKite und den für die Vergleiche verwendeten Methoden werden öffentlich auf https://github.com/wgcban/DIP-HyperKite.git bereitgestellt.