再帰的なビデオ修復トランスフォーマーとガイデッド変形アテンション

ビデオ修復は、複数の低品質なフレームから複数の高品質なフレームを再生することを目指しています。既存のビデオ修復手法は一般的に2つの極端なケースに分類されます。すなわち、すべてのフレームを並列に修復するか、再帰的な方法でフレームごとに順次修復するかです。これらにはそれぞれ長所と短所があります。前者は時間情報の融合という利点がありますが、モデルサイズが大きくメモリ消費も激しいという問題があります。後者はパラメータをフレーム間で共有することで比較的小さなモデルサイズを実現しますが、長期依存関係のモデリング能力や並列処理性に欠けます。本論文では、これらの長所を統合するために再帰的ビデオ修復トランスフォーマー（RVRT）を提案します。RVRTは全般的に再帰的な枠組みの中で局所的な近傍フレームを並列に処理し、モデルサイズ、効果性、効率性の良いバランスを実現します。具体的には、RVRTはビデオを複数のクリップに分割し、以前に推論されたクリップ特徴量を使用して次のクリップ特徴量を推定します。各クリップ内では異なるフレーム特徴量が暗黙的な特徴量集約によって共同で更新されます。異なるクリップ間では、クリップ間アライメントのためにガイド付き変形注意機構が設計されており、全体的に推論されたクリップから複数の関連位置を予測し、注意機構によってそれらの特徴量を集約します。ビデオスーパーレゾリューション、ディブラー（deblurring）、デノイジングに関する広範な実験結果から、提案したRVRTはベンチマークデータセットにおいてバランスの取れたモデルサイズとテスト時のメモリ使用量および実行時間を維持しながら最先端の性能を達成することが示されています。