Transformateur à demi-mélange à dépliement conscient de la dégradation pour l'imagerie compressée spectrale

Dans les systèmes d’imagerie spectrale compressive par ouverture codée en temps réel (CASSI), des méthodes de reconstruction d’images hyperspectrales (HSI) sont utilisées pour récupérer le signal spatial-spectral à partir d’une mesure compressée. Parmi ces algorithmes, les méthodes d’« unfolded deep » montrent des performances prometteuses, mais souffrent de deux limites majeures. Premièrement, elles ne modélisent pas les motifs de dégradation ni le degré d’ill-posedness propres au système CASSI fortement corrélé, ce qui limite leur capacité à guider l’apprentissage itératif. Deuxièmement, elles sont principalement basées sur des réseaux de neurones convolutifs (CNN), présentant ainsi des limites dans la capture des dépendances à longue portée. Dans cet article, nous proposons un cadre structuré, appelé DAUF (Degradation-Aware Unfolding Framework), qui estime les paramètres à partir de l’image compressée et du masque physique, puis utilise ces paramètres pour contrôler chaque itération. En outre, nous avons conçu un nouveau modèle, le Transformer Half-Shuffle (HST), capable de capturer simultanément les contenus locaux et les dépendances non locales. En intégrant HST dans DAUF, nous établissons la première méthode basée sur le Transformer pour l’unfolded profond, nommée DAUHST (Degradation-Aware Unfolding Half-Shuffle Transformer), dédiée à la reconstruction d’HSI. Les expérimentations montrent que DAUHST surpasser significativement les méthodes de pointe tout en nécessitant des coûts computationnels et mémoire plus faibles. Le code et les modèles seront publiés sur https://github.com/caiyuanhao1998/MST