Apprentissage profond non supervisé pour la pansharpening avec fidélité spectrale et spatiale améliorée conjointement

Ces dernières années, l’apprentissage profond a pris une place prépondérante dans le pansharpening d’images multirésolution. En raison du manque de données de référence (ground truth), la plupart des méthodes basées sur l’apprentissage profond effectuent une formation supervisée dans un domaine à résolution réduite. Toutefois, les modèles entraînés sur des images à faible résolution présentent généralement de mauvaises performances sur des images cibles à haute résolution. À cet égard, plusieurs groupes de recherche s’orientent désormais vers une formation non supervisée dans le domaine à pleine résolution, en définissant des fonctions de perte et des paradigmes d’entraînement appropriés. Dans ce contexte, nous avons récemment proposé un cadre d’entraînement à pleine résolution pouvant être appliqué à de nombreuses architectures existantes.Dans cet article, nous proposons un nouveau modèle de pansharpening basé sur l’apprentissage profond, qui exploite pleinement le potentiel de cette approche et atteint des performances de pointe. En plus d’améliorations architecturales par rapport aux travaux antérieurs, telles que l’utilisation de modules d’attention résiduels, le modèle proposé intègre une nouvelle fonction de perte qui promeut simultanément la qualité spectrale et la qualité spatiale des données pansharpenées. De plus, grâce à une nouvelle stratégie de fine-tuning, il améliore l’adaptation au moment de l’inférence pour les images cibles. Des expériences menées sur une large variété d’images de test, dans des scénarios exigeants, démontrent que la méthode proposée se distingue favorablement par rapport à l’état de l’art, tant en termes de résultats numériques qu’en termes de qualité visuelle. Le code source est disponible en ligne à l’adresse suivante : https://github.com/matciotola/Lambda-PNN.