動画フレーム補間のための統一的ピラミッド再帰ネットワーク

フローガイドド合成は、連続する入力フレームの間に中間フレームを合成するための共通フレームワークを提供する。本論文では、フレーム補間のための新たな統一型ピラミッド再帰ネットワークであるUPR-Netを提案する。柔軟なピラミッド構造に基づく本手法は、双方向の光流場推定および中間フレームの合成の両方に軽量な再帰モジュールを活用している。各ピラミッドレベルにおいて、推定された双方向光流場を用いて前方ワープ表現を生成し、フレーム合成に利用する。また、ピラミッドレベル間では、光流場および中間フレームの両方に対して反復的精緻化を実現している。特に、本手法の反復的合成戦略が大規模な運動を伴うケースにおけるフレーム補間のロバスト性を顕著に向上させることを示している。極めて軽量（パラメータ数170万）であるにもかかわらず、UPR-Netの基本バージョンは広範なベンチマークにおいて優れた性能を達成している。UPR-Netシリーズのコードおよび学習済みモデルは、以下のURLで公開されている：https://github.com/srcn-ivl/UPR-Net。