Pansharpening hyperspectral basé sur un prior d'image profond amélioré et une reconstruction par résidus

L’hyper-synthèse par pansharpening vise à combiner une image hyperspectrale à faible résolution (LR-HSI) avec une image pancromatique (PAN) enregistrée afin de produire une image hyperspectrale améliorée à la fois haute résolution spectrale et spatiale. Les méthodes récentes de pansharpening hyperspectrales, basées sur des réseaux de convolution profonds (ConvNets), ont obtenu des résultats remarquables, généralement selon une approche en trois étapes : (1) suréchantillonnage de la LR-HSI, (2) prédiction de l’image résiduelle via un ConvNet, puis (3) obtention de l’image fusionnée finale par addition des sorties des deux premières étapes. Des méthodes récentes ont exploité le Deep Image Prior (DIP) pour effectuer le suréchantillonnage de la LR-HSI, grâce à sa capacité exceptionnelle à préserver à la fois les informations spatiales et spectrales, sans nécessiter d’apprentissage à partir de grands jeux de données. Toutefois, nous avons observé que la qualité des images hyperspectrales suréchantillonnées peut être améliorée en introduisant une contrainte supplémentaire dans le domaine spatial à la fonction d’énergie traditionnellement définie dans le domaine spectral. Nous définissons cette contrainte spatiale comme la distance $L_1$ entre l’image PAN prédite et l’image PAN réelle. Pour estimer l’image PAN de l’image hyperspectrale suréchantillonnée, nous proposons également une fonction de réponse spectrale (SRF) apprenable. Par ailleurs, nous avons noté que l’image résiduelle entre l’image hyperspectrale suréchantillonnée et l’image de référence est principalement composée d’informations de contours et de structures très fines. Afin d’estimer précisément ces détails fins, nous proposons un nouveau réseau sur-complet, nommé HyperKite, qui se concentre sur l’apprentissage de caractéristiques de haut niveau en limitant l’expansion du champ réceptif dans les couches profondes. Nous menons des expérimentations sur trois jeux de données d’images hyperspectrales afin de démontrer l’avantage de notre méthode DIP-HyperKite par rapport aux approches de pansharpening de pointe. Les codes d’implémentation, les modèles pré-entraînés ainsi que les résultats de fusion finaux de notre méthode DIP-HyperKite, ainsi que des méthodes utilisées pour les comparaisons, seront rendus accessibles publiquement à l’adresse suivante : https://github.com/wgcban/DIP-HyperKite.git.