注意に基づくバックプロジェクションネットワークを用いた画像スーパーサンプリング

深層学習に基づく画像スーパーレゾリューション（SR）は、大規模データの処理能力に優れているため、急速な発展を遂げている。一般的に、より深くかつ広いネットワーク構造を採用することで、より豊かな特徴マップを抽出でき、優れた品質のSR画像を生成することが可能となる。しかし、ネットワークが複雑になるほど、実用的な応用において処理時間の増加が避けられなくなる。したがって、効率的な画像SRを実現するためには、ネットワークの簡略化が重要である。本稿では、アテンションに基づくバックプロジェクションネットワーク（Attention-based Back Projection Network, ABPN）を提案する。近年のいくつかの研究と同様に、本研究ではバックプロジェクション機構がSRの性能向上にさらなる発展の余地があると捉えている。そこで、低解像度および高解像度特徴の残差を反復的に更新するための強化されたバックプロジェクションブロックを提案する。また、最近のアテンションモデルに関する研究に着想を得て、異なるレイヤー間の特徴間のクロス相関を学習するための空間アテンションブロック（Spatial Attention Block, SAB）を設計した。さらに、優れたSR画像はダウンサンプリングを経た際に元の低解像度（LR）画像に近くなるべきであるという仮定に基づき、最終的な再構成に向けた精緻化されたバックプロジェクションブロック（Refined Back Projection Block, RBPB）を提案する。公開データセットおよびAIM2019画像スーパーレゾリューションチャレンジデータセットを用いた広範な実験の結果、提案手法ABPNは定量的・定性的な評価において、既存の最先端手法と同等、あるいはそれ以上の性能を達成することが確認された。