改良されたディープイメージプライアと残差再構成を用いたハイパースペクトルパンシャープニング

ハイパースペクトルのパンシャープニングは、低解像度のハイパースペクトル画像（LR-HSI）と幾何学的に整合されたパンクロマティック画像（PAN）を用いて、高スペクトル解像度および高空間解像度を有する強化されたHSIを合成することを目的としています。近年提案されたHSパンシャープニング手法は、深層畳み込みネットワーク（ConvNet）を用いることで顕著な成果を達成しています。これらの手法は一般的に以下の3段階から構成されています：（1）LR-HSIのアップサンプリング、（2）ConvNetを用いた残差画像の予測、（3）第1段階と第2段階の出力を加算して最終的な融合HSIを得る。最近の手法では、深層画像先験（Deep Image Prior: DIP）を用いてLR-HSIのアップサンプリングが行われており、これは大規模なデータセットからの学習を必要とせずに、空間情報とスペクトル情報を良好に保持する能力に優れているためです。しかし、我々は従来のスペクトル領域エネルギー関数に、追加の空間領域制約を導入することで、アップサンプリングされたHSIの品質をさらに向上させられることを確認しました。本研究で定義する空間領域制約は、予測されたPAN画像と実際のPAN画像との間の$L_1$距離として設定しています。また、アップサンプリングされたHSIのPAN画像を推定するために、学習可能なスペクトル応答関数（Spectral Response Function: SRF）を提案します。さらに、アップサンプリングされたHSIと参照HSIとの間の残差画像は、主にエッジ情報および非常に細かい構造から構成されていることに着目しました。このような微細構造を正確に推定するため、深層部における受容野の増大を制約することで高レベル特徴の学習に特化した、新たな過完全ネットワーク「HyperKite」を提案します。本研究では3つのHSIデータセットを用いた実験により、DIP-HyperKiteが最先端のパンシャープニング手法に対して優れた性能を発揮することを示しました。本研究で開発したDIP-HyperKiteおよび比較対象として用いた手法の実装コード、事前学習済みモデル、および最終的な融合出力は、すべてGitHub（https://github.com/wgcban/DIP-HyperKite.git）にて公開される予定です。