要約
我々は、マルチフレームスーパーレゾリューション（MFSR）問題に対処するための新規アーキテクチャを提案する。提案するフレームワークは、強化されたバーストスーパーレゾリューション（Enhanced Burst Super-Resolution：EBSR）と呼ばれ、MFSR問題を「アライメント」「フェージョン」「再構成」の3つの部分に分解する。複数の低解像度バースト画像を特徴量レベルでアライメントするため、特徴量強化型ピラミッドカスケード変形畳み込み（Feature Enhanced Pyramid Cascading and Deformable convolution：FEPCD）モジュールを提案する。その後、アライメントされた特徴量はクロス非局所フェージョン（Cross Non-Local Fusion：CNLF）モジュールにより統合される。最後に、長距離連結ネットワーク（Long Range Concatenation Network：LRCN）によりスーパーレゾリューション画像が再構成される。さらに、性能向上を図るために、カスケード型残差パス構造（Cascading Residual pathway：CR）を導入する。本研究では、各モジュールの有効性を検証・分析するための多数の実験を実施した。その結果、EBSRモデルはNTIRE21 バーストスーパーレゾリューションチャレンジの実環境トラックで優勝し、合成データトラックでは2位を獲得した。