参考画像を用いた変形アテンショントランスフォーマーによる超解像処理

参照画像を用いた超解像（RefSR）は、補助的な参照画像（Ref）を利用して低解像度（LR）画像の超解像を行うことを目指しています。最近、RefSRは単一画像の超解像を超える代替手段を提供することから大きな注目を集めています。しかし、RefSRの問題解決には2つの重要な課題があります：(i) LR画像とRef画像が大きく異なる場合、それらの対応関係を見つけることが困難である；(ii) Ref画像からLR画像に詳細を補完するための関連テクスチャを転送することが非常に挑戦的である。これらのRefSRの課題に対処するために、本論文では複数のスケールを持つ変形可能な注意メカニズムを備えたトランスフォーマー、すなわちDATSR（Deformable Attention Transformer for Super-Resolution）を提案します。各スケールは、テクスチャ特徴エンコーダー（TFE）モジュール、参照ベースの変形可能な注意（RDA）モジュール、および残差特徴集合（RFA）モジュールで構成されています。具体的には、TFEがまずLR画像とRef画像から明るさなどの画像変換に影響を受けにくい特徴を抽出し、RDAがその後複数の関連テクスチャを利用することでLR特徴に更多信息を補完できます。最後にRFAがLR特徴と関連テクスチャを集約し、より視覚的に快適な結果を得ることができます。広範な実験により、提案したDATSRはベンチマークデータセットにおいて定量的にも定性的にも最先端の性能を達成していることが示されました。