9日前
HDNet:スペクトル圧縮撮影のための高解像度デュアルドメイン学習
Xiaowan Hu, Yuanhao Cai, Jing Lin, Haoqian Wang, Xin Yuan, Yulun Zhang, Radu Timofte, Luc Van Gool

要約
深層学習の急速な発展により、ハイパースペクトル画像(HSI)のエンド・ツー・エンド再構成に対するより優れた解決策が得られるようになった。しかし、既存の学習ベースの手法には二つの主要な欠点が存在する。第一に、自己注意機構を備えたネットワークは、モデルの性能と複雑さのバランスを取るために内部解像度を犠牲にしており、細粒度の高解像度(HR)特徴を損なっている。第二に、空間・スペクトル領域学習(SDL)に焦点を当てた最適化が理想解に収束したとしても、再構成されたHSIと真値の間に顕著な視覚的差異が残る場合がある。そこで本研究では、HSI再構成を目的とした高解像度二領域学習ネットワーク(HDNet)を提案する。本手法は、まず、効率的な特徴融合を備えた高解像度空間・スペクトル注意モジュールにより、連続的かつ細粒度なピクセルレベル特徴を提供する。一方で、周波数領域学習(FDL)を導入することで、周波数領域の乖離を狭め、再構成品質を向上させる。動的FDL監督により、モデルは細粒度の周波数成分を再構成する能力が強化され、ピクセルレベルの損失によって引き起こされる過剰な平滑化や歪みを補償する。本HDNetにおける高解像度ピクセルレベル注意と周波数レベルの精緻化は、相互に補完し合い、HSIの知覚的品質を向上させる。広範な定量的および定性的評価実験の結果、本手法はシミュレートされたおよび実測HSIデータセットにおいて、最先端(SOTA)の性能を達成した。コードおよびモデルは、https://github.com/caiyuanhao1998/MST にて公開予定である。