動画フレーム補間のためのリアルタイム中間フレーム推定

リアルタイム動画フレーム補間（VFI）は、動画処理、メディアプレーヤー、ディスプレイデバイスなどにおいて非常に有用な技術である。本研究では、リアルタイム中間フレーム推定を実現するためのアルゴリズム「RIFE（Real-time Intermediate Flow Estimation）」を提案する。高品質なフローに基づくVFI手法を実現するため、RIFEはIFNetと呼ばれるニューラルネットワークを採用しており、このネットワークは中間フローをエンド・トゥ・エンドで高速に推定できる。安定したIFNetの学習を実現するため、特権蒸留（privileged distillation）スキームを設計し、全体的な性能向上を図った。RIFEは事前学習済みのオプティカルフローモデルに依存せず、時間的符号化（temporal encoding）入力を用いることで、任意の時間ステップ間のフレーム補間をサポートする。実験の結果、RIFEは複数の公的ベンチマークにおいて最先端の性能を達成した。人気のあるSuperSlomoおよびDAIN手法と比較して、RIFEは4～27倍の高速性を実現しつつ、より優れた結果を生成した。さらに、時間的符号化の導入により、RIFEはより広範な応用に拡張可能である。コードは以下のURLで公開されている：https://github.com/megvii-research/ECCV2022-RIFE。