深度認識ビデオフレーム補間

ビデオフレーム補間の目的は、元のフレーム間に存在しないフレームを合成することである。最近の深層畳み込みニューラルネットワークにより大きな進歩が見られているが、大規模な物体運動や隠蔽（occlusion）により補間品質が低下することがしばしばある。本研究では、深度情報を活用して隠蔽を明示的に検出するビデオフレーム補間手法を提案する。具体的には、近い物体よりも遠い物体を好んでサンプリングする中間フローを合成するための深度認識フロープロジェクション層を開発した。さらに、階層的な特徴を学習し、近傍ピクセルから文脈情報を収集する。提案モデルは、光学フローと局所補間カーネルに基づいて入力フレーム、深度マップ、および文脈特徴を変形し、出力フレームの合成を行う。本モデルはコンパクトで効率的であり、完全に微分可能である。定量的および定性的評価結果は、提案モデルが多様なデータセットにおいて最先端のフレーム補間手法に対して有利に働くことを示している。