要約
動画フレーム補間（Video Frame Interpolation: VFI）は、存在するフレームの間に存在しない中間フレームを合成することを目的としています。フローに基づくVFIアルゴリズムは、中間の運動場を推定し、既存のフレームを変形（ワープ）することで中間フレームを生成します。しかし、現実世界の運動の複雑さと参照フレームの欠如により、運動推定は困難です。多くの最先端手法では、より正確な運動推定を実現するために、隣接する2つのフレーム間の相関関係を明示的にモデル化しています。一般的なアプローチでは、高解像度における相関モデリングの受容野（receptive field）が、事前に推定された運動場に依存しています。この受容野依存性により、従来の運動推定手法は小形で高速に動く物体の処理に不向きです。本研究では、受容野依存性の問題を解消し、小形・高速移動物体に対してより適した相関関係のモデル化を実現するために、密にクエリされたバイラテラル相関（Densely Queried Bilateral Correlation: DQBC）を提案します。DQBCを用いて生成された運動場は、コンテキスト特徴量を用いてさらに精緻化およびアップサンプリングされます。運動場が固定された後、CNNベースのSynthNetにより最終的な補間フレームが合成されます。実験の結果、本手法は最先端手法と比較して高い精度と短い推論時間を達成しました。ソースコードは以下のGitHubリポジトリで公開されています：https://github.com/kinoud/DQBC。