要約
近年、単一画像の超解像（Single-Image Super-Resolution: SISR）が大きな関心を集めていますが、提案された手法は高周波成分を追加するために画像の事前情報を学習する点に制限があります。一方、多フレーム超解像（Multi-Frame Super-Resolution: MFSR）は、複数のシフトした画像から信号情報を組み合わせることで豊かな詳細を再構成する可能性を提供します。この重要な利点と、連写撮影の普及により、MFSRは実世界応用において重要な問題となっています。本研究では、連写超解像タスク向けに新しいアーキテクチャを提案します。当ネットワークは複数のノイジーなRAW画像を入力として受け取り、出力としてノイズが除去され且つ超解像されたRGB画像を生成します。これは、画素単位の光学フローを使用して入力フレームの深層埋め込みを明示的にアライメントすることによって達成されます。その後、全フレームからの情報を注意に基づく融合モジュールによって適応的にマージします。実世界データでの訓練と評価を可能にするため、スマートフォンの連写画像と高解像度DSLRの基準真値からなるBurstSRデータセットも導入しました。包括的な実験分析を行い、提案アーキテクチャの有効性を示しています。