
低解像度(LR)画像における重要な情報の喪失により、単一画像の超解像度(SISR)技術の最先端をさらに進めることが極めて困難となっています。一方、参考画像(Ref)がLR入力画像と類似した内容を持つ場合、RefSRは高解像度(HR)詳細の復元において有望な結果を示しています。しかし、Refがあまり類似していない場合、RefSRの品質は著しく低下する可能性があります。本論文では、より多くのテクスチャ詳細を抽出し、関連性の低いRef画像が提供された場合でも堅牢性を保つことで、RefSRの潜在能力を引き出すことを目指します。最近の画像スタイル変換に関する研究に触発されて、私たちはRefSR問題をニューラルテクスチャ転送として定式化しました。私たちはエンドツーエンドの深層モデルを設計し、このモデルはRef画像とのテクスチャ類似性に基づいて適応的にテクスチャを転送することでHR詳細を豊かにします。従来の方法がピクセル空間でのコンテンツマッチングを行うのに対し、私たちの主要な貢献はニューラル空間で行われる多段階マッチングです。このマッチングスキームは、セマンティックに関連するRefパッチからより多くBenefitを得られるように多尺度的なニューラル転送を促進し、最も関連性の低いRef入力に対してはSISR性能に優雅に劣化します。私たちは一般的なRefSR研究のためにベンチマークデータセットを作成しました。このデータセットには、異なる類似度レベルを持つLR入力画像とペアになったRef画像が含まれています。定量評価と定性評価の両方が示すように、私たちの手法は最先端技術に対して優れた性能を発揮しています。注:「Benefit」は「恩恵」や「利益」と訳すこともできますが、「 Benefit 」という英語表現を使用することで専門的なニュアンスを保っています。