HyperAIHyperAI

Command Palette

Search for a command to run...

Transformateur spectral-guidé par masque pour une reconstruction efficace d’images hyperspectrales

Yuanhao Cai Jing Lin Xiaowan Hu Haoqian Wang Xin Yuan Yulun Zhang Radu Timofte Luc Van Gool

Résumé

La reconstruction d’images hyperspectrales (HSI) vise à restaurer le signal tridimensionnel espace-spectre à partir d’une mesure bidimensionnelle dans le système d’imagerie spectrale instantanée à ouverture codée (CASSI). Les représentations HSI présentent une forte similarité et une corrélation élevée le long de la dimension spectrale. Modéliser les interactions entre les spectres est donc bénéfique pour la reconstruction HSI. Toutefois, les méthodes basées sur les réseaux de neurones convolutifs (CNN) actuelles présentent des limites quant à la capture de la similarité spectrale et des dépendances à longue portée. Par ailleurs, les informations HSI sont modulées par une ouverture codée (masque physique) dans le cadre du CASSI. Néanmoins, les algorithmes actuels n’exploitent pas pleinement l’effet directeur du masque pour la restauration HSI. Dans ce travail, nous proposons un nouveau cadre, appelé Transformer guidé par le masque à attention spectrale (MST), pour la reconstruction HSI. Plus précisément, nous introduisons une attention multi-têtes par spectre (S-MSA), qui traite chaque caractéristique spectrale comme un token et calcule l’attention auto-sur la dimension spectrale. Par ailleurs, nous concevons un mécanisme guidé par le masque (MM) qui oriente l’attention S-MSA vers des régions spatiales présentant des représentations spectrales de haute fidélité. Des expériences étendues montrent que notre MST surpasse significativement les méthodes de pointe (SOTA) sur des jeux de données simulés et réels, tout en nécessitant des coûts computationnels et mémoire nettement réduits. Le code source et les modèles pré-entraînés sont disponibles à l’adresse suivante : https://github.com/caiyuanhao1998/MST/


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp