要約
動画補間は、連続する2つのフレームの間に存在しないフレームを合成するタスクを指す。既存の光流に基づく手法は、高い性能を達成しているものの、遮蔽、ぼやけ、急激な明るさの変化を含む複雑な動的シーンの補間において依然として大きな課題に直面している。これは、これらの状況が光流推定における基本的な仮定（滑らかさ、一貫性）を破壊する可能性があるためである。本研究では、構造からテクスチャへの生成フレームワークを提案し、動画補間を2段階に分離するアプローチを採用した。第1段階では、深層構造認識特徴を用いて、連続する2つのフレームから中間フレームの特徴フローを予測し、さらに中間フレームの構造画像を生成する。第2段階では、得られた粗い結果をもとに、詳細なテクスチャを補完するための「フレームテクスチャ補正器（Frame Texture Compensator）」を学習させる。本研究は、深層特徴を直接ブレンドして中間フレームを生成するという点で、既存の研究において初めての試みである。ベンチマークデータセットおよび困難な遮蔽ケースに対する実験により、提案手法が最先端手法を上回る優れた性能を示した。実装コードは、https://github.com/CM-BF/FeatureFlow にて公開されている。