Transformateur spectral-guidé par masque pour une reconstruction efficace d’images hyperspectrales

La reconstruction d’images hyperspectrales (HSI) vise à restaurer le signal tridimensionnel espace-spectre à partir d’une mesure bidimensionnelle dans le système d’imagerie spectrale instantanée à ouverture codée (CASSI). Les représentations HSI présentent une forte similarité et une corrélation élevée le long de la dimension spectrale. Modéliser les interactions entre les spectres est donc bénéfique pour la reconstruction HSI. Toutefois, les méthodes basées sur les réseaux de neurones convolutifs (CNN) actuelles présentent des limites quant à la capture de la similarité spectrale et des dépendances à longue portée. Par ailleurs, les informations HSI sont modulées par une ouverture codée (masque physique) dans le cadre du CASSI. Néanmoins, les algorithmes actuels n’exploitent pas pleinement l’effet directeur du masque pour la restauration HSI. Dans ce travail, nous proposons un nouveau cadre, appelé Transformer guidé par le masque à attention spectrale (MST), pour la reconstruction HSI. Plus précisément, nous introduisons une attention multi-têtes par spectre (S-MSA), qui traite chaque caractéristique spectrale comme un token et calcule l’attention auto-sur la dimension spectrale. Par ailleurs, nous concevons un mécanisme guidé par le masque (MM) qui oriente l’attention S-MSA vers des régions spatiales présentant des représentations spectrales de haute fidélité. Des expériences étendues montrent que notre MST surpasse significativement les méthodes de pointe (SOTA) sur des jeux de données simulés et réels, tout en nécessitant des coûts computationnels et mémoire nettement réduits. Le code source et les modèles pré-entraînés sont disponibles à l’adresse suivante : https://github.com/caiyuanhao1998/MST/