要約
動画フレーム補間（フレーム補間および外挿を含む）は、多様なシーンに応用可能な重要な動画処理技術である。しかし、既存の大多数の手法は、小物体や大運動を適切に扱えず、特に4Kなど高解像度動画ではその限界が顕著である。こうした課題を克服するため、本研究では、フローに基づくフレーム補間に向けた「近傍対応マッチング（Neighbor Correspondence Matching: NCM）」アルゴリズムを提案する。フレーム補間では現在のフレームが利用できないため、NCMは現在フレームに依存しないアプローチを採用し、各画素の空間時間的近傍においてマルチスケールの対応関係を構築する。NCMが持つ強力な運動表現能力を活かし、さらに異種の粗い段階から細かい段階へと段階的に進む「粗〜細」スキームを用いて中間フレームのフローを推定する手法を提案する。具体的には、粗スケールモジュールは近傍対応関係を活用して大運動を捉える設計となっており、一方、細スケールモジュールは計算効率が高く、推定プロセスを高速化する。両モジュールは、訓練データセットと現実世界の動画との解像度ギャップを解消するため、段階的に訓練される。実験結果から、NCMは複数のベンチマークにおいて最先端の性能を達成することが示された。さらに、NCMは動画圧縮を含む多様な実用的シナリオへの応用も可能であり、優れた性能を発揮することが確認された。