Transformateur Épars à Approche Grossière-vers-Fine pour la Reconstruction d'Images Hyperspectrales

De nombreuses méthodes algorithmiques ont été développées pour résoudre le problème inverse de l'imagerie spectrale instantanée à ouverture codée (CASSI), c’est-à-dire la reconstruction d’images hyperspectrales 3D (HSI) à partir d’une mesure compressée 2D. Ces dernières années, les approches fondées sur l’apprentissage ont démontré des performances prometteuses et dominent aujourd’hui la direction principale de la recherche. Toutefois, les méthodes basées sur les réseaux de neurones convolutionnels (CNN) actuelles présentent des limites dans la capture des dépendances à longue portée et de la similarité auto-similaire non locale. Les méthodes précédentes basées sur les Transformers échantillonnent de manière dense les tokens, certains desquels sont peu informatifs, et calculent l’attention multi-têtes auto-attention (MSA) entre des tokens qui ne sont pas liés sémantiquement. Ce traitement ne correspond pas à la nature spatialement éparse des signaux HSI et limite la scalabilité du modèle. Dans cet article, nous proposons une nouvelle méthode basée sur le Transformer, appelée Transformer sparse à deux échelles (CST), qui intègre pour la première fois la sparsité des HSI dans l’apprentissage profond pour la reconstruction des images hyperspectrales. Plus précisément, CST utilise un mécanisme de sélection de patchs grossiers que nous proposons, le SASM (spectra-aware screening mechanism), puis alimente les patchs sélectionnés dans une attention multi-têtes par agrégation spectrale (SAH-MSA) adaptée, afin de réaliser un regroupement fin des pixels et une capture efficace de la similarité auto-similaire. Des expériences approfondies montrent que notre méthode CST surpasse significativement les états de l’art tout en nécessitant des coûts computationnels réduits. Le code source et les modèles seront publiés à l’adresse suivante : https://github.com/caiyuanhao1998/MST