MST++ : Transformateur spectral multi-étapes pour une reconstruction spectrale efficace

Les méthodes actuelles de reconstruction spectrale (SR) se concentrent principalement sur la conception de réseaux neuronaux convolutifs (CNNs) plus profonds ou plus larges pour apprendre une correspondance de bout en bout entre l'image RGB et son image hyperspectrale (HSI). Bien que ces méthodes basées sur les CNNs atteignent des performances de restauration impressionnantes, elles montrent des limitations dans la capture des dépendances à longue portée et du principe d'autosimilarité. Pour remédier à ce problème, nous proposons une nouvelle méthode basée sur le Transformer, le Multi-stage Spectral-wise Transformer (MST++), pour une reconstruction spectrale efficace. Plus précisément, nous utilisons un mécanisme d'auto-attention multi-têtes spécifique au spectre (S-MSA) qui repose sur la nature spatialement éparse mais spectralement autosimilaire de l'HSI pour constituer l'unité de base, le bloc d'attention spécifique au spectre (SAB). Ensuite, les SABs composent un Transformers spécifique au spectre à un stade unique (SST) qui exploite une structure en forme de U pour extraire des informations contextuelles à plusieurs résolutions. Enfin, notre MST++, formé par plusieurs SSTs en cascade, améliore progressivement la qualité de la reconstruction du grossier au fin. Des expériences exhaustives montrent que notre MST++ dépasse significativement les autres méthodes de pointe. Dans le défi NTIRE 2022 de reconstruction spectrale, notre approche a remporté la première place. Le code source et les modèles pré-entraînés sont disponibles publiquement sur https://github.com/caiyuanhao1998/MST-plus-plus.