9日前

エンドツーエンド低コストな圧縮スペクトルイメージング:空間周波数自己注意機構を用いた手法

{Ziyi Meng, Xin Yuan, Jiawei Ma}
エンドツーエンド低コストな圧縮スペクトルイメージング:空間周波数自己注意機構を用いた手法
要約

符号開口スナップショット分光画像(Coded Aperture Snapshot Spectral Imaging, CASSI)は、現実世界の3Dハイパースペクトル画像を効果的に取得するための有力な手法である。既存の研究ではハードウェア設計およびアルゴリズム開発が多数行われてきたが、本研究では、動画レートで高品質な再構成が可能な低コストなソリューションに着目する。この困難ではあるが、十分に検討されていない課題に対して着実な進展を図るため、大規模な現実世界のCASSIデータを収集するため、安定した単一分散器(Single Disperser, SD)型CASSIシステムを再現し、自己注意機構(self-attention)を用いたリアルタイム再構成を実現するための新たな深層畳み込みネットワークを提案する。ハイパースペクトル画像における異なる次元間の自己注意(すなわち、チャネルごとのスペクトル相関性と非局所的な空間領域間の相関)を統合的に捉えるために、次元ごとに逐次処理を行うが、処理順に依存しない方式として、空間-スペクトル自己注意(Spatial-Spectral Self-Attention, TSA)を提案する。本手法をエンコーダ-デコーダ構造のネットワーク(TSA-Net)に組み込み、目的の3Dキューブの再構成を実現する。さらに、ノイズが再構成結果に与える影響を検討し、モデル学習時にショットノイズを導入する手法を提案したところ、実データに対する性能が顕著に向上した。今後、我々が提供する大規模なCASSIデータが研究のベンチマークとして活用されることを期待し、TSAモデルが深層学習に基づく再構成アルゴリズムにおける基準モデル(baseline)として位置づけられることを望む。

エンドツーエンド低コストな圧縮スペクトルイメージング:空間周波数自己注意機構を用いた手法 | 最新論文 | HyperAI超神経