FLAVR: フローに依存しない動画表現による高速フレーム補間

ビデオフレーム補間のための多くの手法は、ビデオの隣接するフレーム間で双方向光流を計算し、その後適切なワーピングアルゴリズムを使用して出力フレームを生成します。しかし、光流に依存するアプローチは、ビデオから直接非線形運動や複雑な被塞域（occlusions）をモデル化することが難しく、また広範囲での展開に適さない追加のボトルネックを導入することがあります。これらの制限に対処するために、我々はFLAVRという柔軟で効率的なアーキテクチャを開発しました。このアーキテクチャは3次元時空間畳み込みを使用することで、ビデオフレーム補間のエンドツーエンド学習と推論を可能にします。当手法は非線形運動、複雑な被塞域、時間抽象化について効率的に学習し、これらを理由としてビデオ補間性能が向上します。なお、光学的流れや深度マップなどの追加入力を必要としません。その単純さにより、FLAVRは多フレーム補間において現在最も正確な手法よりも3倍速い推論速度を達成しながら、補間精度を失うことなく動作します。さらに、我々はFLAVRをさまざまな課題設定で評価し、Vimeo-90K, UCF101, DAVIS, Adobe, GoProなどの人気ベンチマークにおいて一貫して優れた定性的および定量的な結果を示しています。最後に、FLAVRがアクション認識、光流推定、モーション拡大のための有用な自己監督前タスクとして機能できることも示しました。