要約
近年の単一画像超解像（SISR）における進展は、深層学習がより優れた性能を達成するための有効性を示している。赤外線（IR）画像の超解像において、訓練データの再収集やモデルの再訓練は費用が高いため、IR画像の復元に利用可能なサンプル数が限られているという状況が、SISR分野における重要な課題となっている。この問題を解決するため、本研究では主パスと分岐パスを備えた段階的超解像生成対抗ネットワーク（PSRGAN）を提案する。主パスでは、深さ方向畳み込み残差ブロック（DWRB）を用いてIR画像の特徴を表現する。一方、別のパスでは、容易に入手可能な可視画像の特徴を抽出するために、新規の浅い軽量蒸留残差ブロック（SLDRB）を導入する。さらに、転移学習のアイデアを踏まえ、異なる高次元特徴空間間のギャップを埋めるためのマルチステージ転移学習戦略を提案する。これにより、PSRGANの性能向上が実現される。最後に、2つの公開データセットを用いた定量的および定性的評価により、従来の超解像手法と比較して、PSRGANが優れた性能を達成できることを示した。