フロー誘導型ビデオインペイントのためのエンドツーエンドフレームワークへ

フレーム間の運動情報を捉える光流（optical flow）は、最近のビデオ補完手法において、その軌跡に沿ってピクセルを伝播させるために利用されています。しかし、これらの手法における手作業で設計された光流ベースのプロセスは、全体の補完パイプラインを形成するために個別に適用されるため、効率が低く、初期段階からの中間結果に大きく依存しています。本論文では、3つの学習可能なモジュール、すなわち光流完了モジュール、特徴伝播モジュール、およびコンテンツ生成モジュールを精巧に設計することで、エンドツーエンドのフロー誘導型ビデオ補完（E$^2$FGVI）フレームワークを提案します。この3つのモジュールは以前の光流ベース手法の3つの段階に対応していますが、共同で最適化できるため、より効率的かつ効果的な補完プロセスを実現します。実験結果は、提案手法が定性的および定量的に最先端の手法を上回り、有望な効率性を持つことを示しています。コードは https://github.com/MCG-NKU/E2FGVI で公開されています。