BasicVSR++: 動画超解像の向上に向けた強化された伝播とアライメント

再帰構造は、ビデオの超解像処理のタスクにおいて人気のあるフレームワーク選択肢です。最先端の手法であるBasicVSRは、双方向伝播と特徴量アライメントを採用して、入力ビデオ全体から情報を効果的に活用しています。本研究では、BasicVSRを第二階グリッド伝播とフローガイド変形アライメントを提案することで再設計しました。これらの強化された伝播とアライメントによって、再帰フレームワークが非対応のビデオフレーム間で時空間情報をより効果的に活用できることが示されました。新しいコンポーネントは、同程度の計算制約のもとで性能が向上することに寄与します。特に、当モデルであるBasicVSR++は、パラメータ数がほぼ同じであるにもかかわらず、PSNRにおいてBasicVSRを0.82 dB上回りました。ビデオの超解像処理だけでなく、BasicVSR++は圧縮ビデオの画質向上などの他のビデオ復元タスクにも良好に汎化します。NTIRE 2021において、BasicVSR++はビデオ超解像処理チャレンジと圧縮ビデオ画質向上チャレンジで3つの優勝と1つの準優勝を獲得しました。コードおよびモデルはMMEditingに公開される予定です。