IFRNet：効率的なフレーム補間のための中間特徴精 refinement ネットワーク

従来の動画フレーム補間アルゴリズムは、連続する入力フレームから中間フレームを生成するものであり、通常、複雑なモデルアーキテクチャと膨大なパラメータ、または大きな遅延を伴うため、リアルタイム応用への適用に制約がある。本研究では、高速な中間フレーム合成を実現するため、効率的なエンコーダ・デコーダ型ネットワークであるIFRNetを提案する。本手法は、入力からピラミッド特徴量を抽出し、その後、双方向中間フロー場と強力な中間特徴量を同時に精緻化することで、望ましい出力フレームを生成する。徐々に精緻化される中間特徴量は、中間フローの推定を促進するだけでなく、文脈的な詳細を補完する機能を有するため、追加の合成または精緻化モジュールを必要としない。IFRNetの潜在能力を最大限に引き出すために、さらに、フレーム合成に有用な教師モデルの知識を重点的に学習するための新しいタスク指向型光流蒸留損失関数を提案する。同時に、徐々に精緻化される中間特徴量に対して、幾何学的一貫性を保つための新たな正則化項を導入する。複数のベンチマークにおける実験結果から、本手法の優れた性能と高速な推論速度が実証された。コードは、https://github.com/ltkong218/IFRNet にて公開されている。