9日前

スペクトル圧縮撮影における劣化感知型アンフォールディング半シャッフルTransformer

Yuanhao Cai, Jing Lin, Haoqian Wang, Xin Yuan, Henghui Ding, Yulun Zhang, Radu Timofte, Luc Van Gool
スペクトル圧縮撮影における劣化感知型アンフォールディング半シャッフルTransformer
要約

符号化アペルチャ瞬間分光圧縮イメージング(CASSI)システムにおいて、ハイパースペクトル画像(HSI)再構成手法は、圧縮測定から空間-スペクトル信号を復元するために用いられる。これらのアルゴリズムの中でも、ディープアンフォールディング手法は有望な性能を示すものの、二つの課題に直面している。第一に、CASSIの高次元な相関性を反映した劣化パターンや不適切性(ill-posedness)の度合いを推定せず、反復学習のガイドとして活用していない点である。第二に、主にCNNに基づく構造を採用しており、長距離依存関係を捉える能力に制限があることである。本論文では、圧縮画像および物理的マスクからパラメータを推定し、その推定結果をもとに各反復ステップを制御する、原理的かつ劣化に注意を払ったアンフォールディングフレームワーク(Degradation-Aware Unfolding Framework; DAUF)を提案する。さらに、局所的コンテンツと非局所的依存関係を同時に捉える新たな「半シャッフル変換器(Half-Shuffle Transformer; HST)」を独自に設計した。HSTをDAUFに組み込むことで、HSI再構成における初めての変換器ベースのディープアンフォールディング手法、Degradation-Aware Unfolding Half-Shuffle Transformer(DAUHST)を構築した。実験結果により、DAUHSTは最先端手法を大きく上回る性能を発揮するとともに、計算コストおよびメモリ使用量の点でより低コストであることが示された。コードおよびモデルは、https://github.com/caiyuanhao1998/MST にて公開予定である。

スペクトル圧縮撮影における劣化感知型アンフォールディング半シャッフルTransformer | 最新論文 | HyperAI超神経