要約
私たちはビデオ超解像問題に対する新しいアーキテクチャを提案しました。連続するビデオフレームから空間的および時間的情報を統合するために、再帰的なエンコーダー-デコーダーモジュールを使用し、ターゲットフレームのより伝統的な単一フレーム超解像パスと多フレーム情報の融合を行います。これまでの多くの研究では、フレームがスタックやワーピングによって結合されていましたが、私たちのモデルである再帰的バックプロジェクションネットワーク（Recurrent Back-Projection Network: RBPN）は各コンテキストフレームを個別の情報源として扱います。これらの情報源は、複数画像超解像におけるバックプロジェクションの概念に触発された反復的な精緻化フレームワークで組み合わされます。また、フレームを明示的に合わせる代わりに、ターゲットに対する推定されたフレーム間運動を明示的に表現することで補助されます。私たちは新しいビデオ超解像ベンチマークを提案しており、これにより大規模な評価が可能となり、異なる運動状態でのビデオも考慮することができます。実験結果は、RBPNがいくつかのデータセットにおいて既存の方法よりも優れていることを示しています。