EDVR: 動的畳み込みネットワークを用いたビデオ修復

ビデオ修復タスク、スーパーレゾリューションや除ぼかしなどが、コンピュータビジョン分野でますます注目を集めています。NTIRE19チャレンジにおいて、これらの課題に対処するための挑戦的なベンチマークであるREDSが公開されました。この新しいベンチマークは、既存の手法に対して以下の2つの観点から挑戦を投げかけています：(1) 大きな動きがある場合に複数のフレームをどのようにアライメントさせるか、(2) 異なる動きとぼかしを持つ異なるフレームを効果的に融合させる方法。本研究では、これらの課題に対応するために、強化変形ネットワークを用いた新しいビデオ修復フレームワークであるEDVR（Enhanced Deformable Video Restoration）を提案します。まず、大きな動きを扱うために、ピラミッド型、カスケード型および変形可能な（PCD）アライメントモジュールを開発しました。このモジュールでは、粗いレベルから細かいレベルへと段階的に変形畳み込みを使用して特徴量レベルでのフレームアライメントを行います。次に、時間的および空間的注意（TSA）融合モジュールを提案しました。このモジュールでは、時間方向と空間方向の両方に注意を適用することで、その後の修復に重要な特徴量を強調します。これらのモジュールのおかげで、EDVRはNTIRE19ビデオ修復・強化チャレンジの4つのトラック全てで優勝し、2位との差は大きく出ました。また、EDVRはビデオスーパーレゾリューションや除ぼかしにおける最先端の公表済み手法よりも優れた性能を示しています。コードはhttps://github.com/xinntao/EDVR で公開されています。