HyperAIHyperAI

Command Palette

Search for a command to run...

Transformateur à demi-mélange à dépliement conscient de la dégradation pour l'imagerie compressée spectrale

Yuanhao Cai Jing Lin Haoqian Wang Xin Yuan Henghui Ding Yulun Zhang Radu Timofte Luc Van Gool

Résumé

Dans les systèmes d’imagerie spectrale compressive par ouverture codée en temps réel (CASSI), des méthodes de reconstruction d’images hyperspectrales (HSI) sont utilisées pour récupérer le signal spatial-spectral à partir d’une mesure compressée. Parmi ces algorithmes, les méthodes d’« unfolded deep » montrent des performances prometteuses, mais souffrent de deux limites majeures. Premièrement, elles ne modélisent pas les motifs de dégradation ni le degré d’ill-posedness propres au système CASSI fortement corrélé, ce qui limite leur capacité à guider l’apprentissage itératif. Deuxièmement, elles sont principalement basées sur des réseaux de neurones convolutifs (CNN), présentant ainsi des limites dans la capture des dépendances à longue portée. Dans cet article, nous proposons un cadre structuré, appelé DAUF (Degradation-Aware Unfolding Framework), qui estime les paramètres à partir de l’image compressée et du masque physique, puis utilise ces paramètres pour contrôler chaque itération. En outre, nous avons conçu un nouveau modèle, le Transformer Half-Shuffle (HST), capable de capturer simultanément les contenus locaux et les dépendances non locales. En intégrant HST dans DAUF, nous établissons la première méthode basée sur le Transformer pour l’unfolded profond, nommée DAUHST (Degradation-Aware Unfolding Half-Shuffle Transformer), dédiée à la reconstruction d’HSI. Les expérimentations montrent que DAUHST surpasser significativement les méthodes de pointe tout en nécessitant des coûts computationnels et mémoire plus faibles. Le code et les modèles seront publiés sur https://github.com/caiyuanhao1998/MST


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp