要約
ビデオインペイントは、ビデオの欠損領域を補完することを目指していますが、ビデオコンテンツの正確な空間的および時間的一貫性を保つことが難しく、依然として挑戦的な課題となっています。本研究では、新しいフローガイド型ビデオインペイント手法を提案します。各フレームのRGBピクセルを直接補完するのではなく、ビデオインペイントをピクセル伝播問題として捉えます。まず、新規設計されたディープフローコンプリーションネットワークを使用して、ビデオフレーム間で空間的および時間的に一貫した光流場を合成します。次に、合成された光流場を利用して、欠損領域にピクセルを伝播させて補完します。具体的には、ディープフローコンプリーションネットワークは粗い段階から細かい段階へのリファインメントを行って光流場を完成させますが、その品質はハードフローサンプルマイニングによってさらに向上されます。完成した光流のガイドに従って、欠損したビデオ領域が正確に補完されます。当手法はDAVISおよびYouTube-VOSデータセットにおいて定性的および定量的に評価され、インペイント品質と速度の両面で最先端の性能を達成しました。