要約
本稿では、4Kなど高解像度かつ大規模な動きや隠蔽（オクルージョン）を伴う動画に対して対応可能な、新たなDNNベースのフレーム補間ネットワーク「Enhanced Correlation Matchingに基づく動画フレーム補間ネットワーク（ECM-VFI）」を提案する。解像度に応じたネットワークモデルの拡張性を考慮し、光流推定において各ピラミッド層間でパラメータを共有する再帰的ピラミッドアーキテクチャを採用している。提案手法における光流推定では、相関が最大となる位置を追跡することで、光流を再帰的に精緻化する。前方ワーピングに基づく相関マッチングにより、隠蔽領域周辺で誤ってワーピングされた特徴量を除外でき、光流更新の精度が向上する。最終的な双方向光流を基に、ワーピングとブレンドネットワークにより任意の時間位置における中間フレームを合成し、さらに精緻化ネットワークによって品質を向上させる。実験結果から、本手法は4K動画データおよび低解像度ベンチマークデータセットにおいて、従来手法を上回る客観的・主観的品質を達成しつつ、モデルパラメータ数が最小であることを示した。