動画フレーム補間のための強化された双方向運動推定

本稿では、動きに基づく動画フレーム補間のための新規かつ簡潔ながら効果的なアルゴリズムを提案する。従来の動きに基づく補間手法は、通常、事前に訓練された光流（optical flow）モデルまたはU-Netをベースとするピラミッドネットワークを用いて動き推定を行っているが、これらはいずれもモデルサイズが大きくなるか、複雑で大規模な動きを扱う能力に限界がある。本研究では、中間フレーム向けの前方ワーピング（forward-warping）、軽量な特徴エンコーダー、および相関ボリューム（correlation volume）をピラミッド再帰フレームワークに丁寧に統合することで、入力フレーム間の双方向動きを同時に推定可能なコンパクトなモデルを構築した。このモデルはPWC-Netに比べてサイズが15倍小さく、ながらも、困難な動きケースに対してより信頼性の高い柔軟な処理を可能にしている。推定された双方向動きを基に、入力フレームおよびそのコンテキスト特徴を中間フレームに前方ワーピングし、ワーピングされた表現から中間フレームを推定する合成ネットワークを用いる。本手法は、幅広い動画フレーム補間ベンチマークにおいて優れた性能を達成している。コードおよび学習済みモデルは、\url{https://github.com/srcn-ivl/EBME} にて公開されている。