要約
ビデオインペイント（VI）は、観測可能なコンテンツをフレーム間で効果的に伝播させながら、元のビデオに存在しない新しいコンテンツを同時に生成するという課題を伴う困難なタスクです。本研究では、大規模な生成モデルと先進的なピクセル伝播アルゴリズムを組み合わせた堅牢かつ実用的なVIフレームワークを提案します。強力な生成モデルにより、当手法は物体除去のフレームレベルの品質を大幅に向上させるだけでなく、ユーザーが提供したテキストプロンプトに基づいて欠損領域に新しいコンテンツを合成することもできます。ピクセル伝播については、反復サンプリングによる誤差蓄積を効果的に回避しつつサブピクセル精度を維持する一発ピクセル引き込み法（one-shot pixel pulling method）を導入しました。現実的なシナリオでの様々なVI手法の評価のために、アルファマット合成を使用して慎重に生成されたビデオから構成される高品質なVIベンチマークHQVIも提案しています。公開ベンチマークおよびHQVIデータセットにおいて、当手法は既存のソリューションと比較して著しく高い視覚的品質と指標スコアを示しており、さらに2K以上の解像度を持つ高解像度ビデオも容易に処理できることから、実世界アプリケーションにおける優位性が際立っています。