Amélioration de la reconstruction spectrale en snapshot par rectification spectrale- spatiale

Comment exploiter efficacement les caractéristiques spectrales et spatiales des images hyperspectrales (HSI) demeure un problème clé dans la reconstruction spectrale en snapshot. Récemment, le modèle « transformer par spectre » a montré un grand potentiel pour capturer les similarités entre les spectres dans les HSI. Toutefois, la conception classique du transformer, basée sur une division en plusieurs têtes dans la dimension spectrale (canal), entrave la modélisation de l’information spectrale globale et engendre un effet de moyenne. Par ailleurs, les méthodes précédentes s’appuient sur des priori spatiaux standard, sans tenir compte des processus d’acquisition, et échouent donc à traiter la dégradation spatiale spécifique rencontrée dans la reconstruction spectrale en snapshot. Dans cet article, nous analysons l’impact de la division en plusieurs têtes et proposons une nouvelle méthode, nommée Rectification Spectrale-Spatiale (SSR), visant à améliorer l’utilisation de l’information spectrale et à atténuer la dégradation spatiale. Plus précisément, SSR comporte deux composants principaux : l’Attention Auto-Associative par Fenêtre par Spectre (WSSA) et le Bloc de Rectification Spatiale (ARB). Le WSSA est conçu pour capturer l’information spectrale globale tout en tenant compte des différences locales, tandis que l’ARB vise à réduire la dégradation spatiale grâce à une stratégie d’alignement spatial. Les résultats expérimentaux sur des scénarios simulés et réels démontrent l’efficacité des modules proposés, et nous fournissons également des modèles à plusieurs échelles pour illustrer l’avantage de notre approche.