EXTRACTER：大規模画像超解像におけるアテンションと勾配強化を用いた効率的なテクスチャマッチング

最近の参照ベース画像超解像（RefSR）技術は、深層学習手法のSOTA（最良）性能を向上させるために、注目機構（attention mechanism）を導入し、参照用の高解像度画像から高解像度のテクスチャを低解像度画像に転送することで、画像の品質を向上させている。この手法の基本的なアイデアは、低解像度画像と参照画像のペアを特徴空間上で部分領域（patch）同士で照合し、深層ネットワークアーキテクチャを用いてそれらを統合することにある。しかし、従来の手法にはテクスチャの正確な照合が欠けているという課題がある。具体的には、画像を可能な限り多くの部分領域に分割するため、メモリ使用効率が著しく低下し、大規模な画像の処理が困難である。本研究では、より効率的なメモリ使用を実現する深層的照合手法を提案する。この手法により、画像の部分領域数を大幅に削減しつつ、各低解像度部分領域に対して、高解像度参照画像の部分領域の中から最も関連性の高い$k$個のテクスチャマッチを正確に検出する。その結果、高精度なテクスチャ再現が可能となり、シンプルな残差構造を用いて勾配密度情報を追加することで、超解像結果をさらに向上させた。評価指標であるPSNRおよびSSMIにおいて、競争力のある性能を達成した。