Imagerie spectrale compressive à faible coût en bout-à-bout avec une attention spatiale-spectrale auto-apprenante

L'imagerie spectrale instantanée à ouverture codée (CASSI, Coded Aperture Snapshot Spectral Imaging) est un outil efficace pour capturer des images hyperspectrales 3D du monde réel. Bien qu’un grand nombre d’études aient été menées sur la conception matérielle et les algorithmes associés, nous nous engageons dans une démarche visant à proposer une solution à faible coût permettant une reconstruction de haute qualité en temps réel, à débit vidéo. Pour progresser de manière solide sur cette tâche exigeante mais peu explorée, nous avons reconstruit un système CASSI à disperser unique (SD, Single Disperser) stable afin de collecter de vastes ensembles de données réelles CASSI, et nous proposons un nouveau réseau convolutionnel profond exploitant l’attention autonome pour réaliser une reconstruction en temps réel. Afin de capturer conjointement l’attention autonome à travers différentes dimensions des images hyperspectrales (à savoir les corrélations spectrales entre canaux et les régions spatiales non locales), nous introduisons une nouvelle architecture appelée Attention autonome spatiale-spectrale (TSA, Spatial-Spectral Self-Attention), qui traite chaque dimension séquentiellement, mais de manière indépendante de l’ordre. Nous intégrons cette TSA dans un réseau encodeur-décodeur, nommé TSA-Net, pour reconstruire le cube 3D souhaité. Par ailleurs, nous étudions l’impact du bruit sur les performances et proposons d’ajouter du bruit de tirage (shot noise) lors de l’entraînement du modèle, ce qui améliore significativement les résultats sur des données réelles. Nous espérons que nos données CASSI à grande échelle serviront de référence dans les recherches futures, et que notre modèle TSA constituera une base de comparaison (baseline) pour les algorithmes de reconstruction fondés sur l’apprentissage profond.