動画のぶれ除去のためのフロー誘導型スパースTransformer

時空間的近傍における類似性と鋭さの高いシーンパッチを活用することは、動画のぼかし除去において極めて重要である。しかし、従来のCNNベースの手法は、長距離依存関係の捉え方や非局所的な自己類似性のモデリングにおいて限界を示している。本論文では、動画のぼかし除去を目的として、新たなフレームワークであるFlow-Guided Sparse Transformer（FGST）を提案する。FGSTでは、自己注意機構をカスタマイズし、Flow-Guided Sparse Window-based Multi-head Self-Attention（FGSW-MSA）モジュールを設計した。ぼかしの強い参照フレーム上の各クエリ要素に対して、FGSW-MSAは推定された光流に基づいて、隣接フレームにおける同一のシーンパッチに対応する空間的に疎でありながら高相関性を持つキー要素をグローバルにサンプリングできる。さらに、過去のフレームから情報を伝達し、長距離時系列依存関係を強化するための再帰的埋め込み（Recurrent Embedding: RE）機構を導入した。包括的な実験により、提案手法のFGSTがDVDおよびGOPROデータセットにおいて最先端（SOTA）手法を上回ることを実証しただけでなく、実際の動画におけるぼかし除去においてより視覚的に魅力的な結果を達成していることも示した。コードおよび事前学習済みモデルは、https://github.com/linjing7/VR-Baseline にて公開されている。