BSRT: Swin Transformerとフローガイド変形アライメントを用いたバースト超解像の改善

本研究は、新しいアーキテクチャを使用してBurst Super-Resolution（BurstSR）タスクに取り組んでいます。これは、ノイジーで、位置がずれており、低解像度のRAWバースト画像のシーケンスから高品質な画像を復元する必要がある課題です。BurstSRの課題を克服するために、私たちはBurst Super-Resolution Transformer（BSRT）を提案します。この手法は、フレーム間情報の抽出と再構築能力を大幅に向上させることができます。この目標を達成するために、ピラミッドフローガイド変形畳み込みネットワーク（Pyramid FG-DCN）を提案し、Swin Transformerブロックとグループを主なバックボーンとして採用しています。より具体的には、オプティカルフローと変形畳み込みを組み合わせることで、BSRTは位置ずれに対処し、複数フレーム内の潜在的なテクスチャ情報をより効率的に集約することができます。さらに、Transformerベースの構造は長距離依存関係を捉え、性能をさらに向上させることが可能です。合成データおよび実世界データでの評価結果は、当方の手法がBurstSRタスクにおいて新たな最先端の成果であることを示しています。また、当方のBSRTはNTIRE2022 Burst Super-Resolution Challengeで優勝しました。