MST++: 多段階スペクトル変換器による効率的なスペクトル再構成

現行のスペクトル再構成（SR）における主要手法は、RGB画像からその高次元スペクトル画像（HSI）へのエンドツーエンドのマッピングを学習するため、より深いまたは広い畳み込みニューラルネットワーク（CNNs）の設計に焦点を当てています。これらのCNNベースの手法は優れた復元性能を達成していますが、長距離依存関係や自己相似性の事前情報を捉える点で制限があることが示されています。この問題に対処するために、私たちは効率的なスペクトル再構成のために新しいトランスフォーマーに基づく手法、マルチステージ スペクトルワイズ トランスフォーマー（MST++）を提案します。特に、HSIが空間的には疎であるがスペクトル的には自己相似性を持つという特性に基づいて、基本単位となるスペクトルワイズ マルチヘッド セルフアテンション（S-MSA）を使用します。その後、S-MSAから構成されるスペクトルワイズ アテンション ブロック（SAB）を用いて、多解像度コンテクスト情報を抽出するU字型構造を持つシングルステージ スペクトルワイズ トランスフォーマー（SST）を構築します。最後に、私たちのMST++は複数のSSTによって段階的に粗いレベルから細かいレベルへと再構成品質を向上させます。包括的な実験結果により、私たちのMST++が他の最先端手法よりも著しく優れていることが示されました。NTIRE 2022 スペクトル再構成チャレンジにおいて、私たちの手法は第1位を獲得しました。コードおよび事前学習済みモデルは公開されており、https://github.com/caiyuanhao1998/MST-plus-plus で入手可能です。