粗いから細かいまでのスパーストランスフォーマーによる高スペクトル画像再構成

符号化アパーチャ・スナップショット分光イメージング（CASSI）の逆問題を解くための多数のアルゴリズムが開発されてきた。すなわち、2次元の圧縮測定から3次元ハイパースペクトル画像（HSI）を復元する問題である。近年、学習ベースの手法が優れた性能を示し、主流の研究方向性として定着しつつある。しかし、既存のCNNベースの手法は、長距離依存性や非局所的な自己類似性を捉える能力に限界がある。一方で、従来のTransformerベースの手法はトークンを密にサンプリングしており、その一部は情報量が少なく、内容的に無関係なトークン間で多頭自己注意（MSA）を計算している。これはHSI信号の空間的スパース性に合致せず、モデルのスケーラビリティを制限している。本稿では、HSIのスパース性を深層学習に組み込むことを初めて試み、新しいTransformerベースの手法である「粗いから細かいスパースTransformer（CST）」を提案する。具体的には、我々が提案するスペクトル認識型スクリーニング機構（SASM）を用いて粗いパッチを選択し、選択されたパッチをカスタマイズしたスペクトル集約ハッシング多頭自己注意（SAH-MSA）に投入することで、細粒度のピクセルクラスタリングおよび自己類似性の捉えを実現する。包括的な実験結果から、本手法は最先端の手法を大きく上回る性能を発揮しつつ、計算コストを低く抑えることを確認した。コードおよびモデルは、https://github.com/caiyuanhao1998/MST にて公開される予定である。