マスク誘導型スペクトルワイズトランスフォーマーによる効率的なハイパースペクトル画像再構成

ハイパースペクトル画像（HSI）再構成は、符号化開口部スナップショットスペクトルイメージング（CASSI）システムにおける2次元測定から3次元空間-スペクトル信号を復元することを目的としています。HSI表現はスペクトル次元にわたり極めて類似性と相関性を示します。スペクトル間の相互作用をモデル化することは、HSI再構成において有益です。しかし、従来のCNNベースの手法は、スペクトル方向の類似性や長距離依存関係を十分に捉えることができないという限界があります。さらに、CASSIシステムではHSI情報が符号化開口部（物理マスク）によって変調されています。しかし、現在のアルゴリズムは、このマスクがHSI復元に与えるガイド効果を十分に活用していません。本論文では、HSI再構成のための新しいフレームワークである「マスク誘導型スペクトル単位Transformer（Mask-guided Spectral-wise Transformer, MST）」を提案します。具体的には、各スペクトル特徴量をトークンとして扱い、スペクトル次元に沿って自己注意（self-attention）を計算する「スペクトル単位マルチヘッド自己注意（Spectral-wise Multi-head Self-Attention, S-MSA）」を導入します。さらに、S-MSAが高忠実度のスペクトル表現を持つ空間領域に注目できるようにする「マスク誘導機構（Mask-guided Mechanism, MM）」を独自に設計しました。広範な実験の結果、本手法であるMSTは、シミュレーションおよび実測HSIデータセットにおいて、最先端（SOTA）手法を大きく上回る性能を達成しつつ、計算コストおよびメモリ使用量を著しく削減できることを示しました。コードおよび事前学習済みモデルは、https://github.com/caiyuanhao1998/MST/ にて公開されています。