FlowNet 2.0: 深層ネットワークを用いたオプティカルフロー推定の進化

FlowNetは、オプティカルフローの推定が学習問題として扱えることを示しました。しかし、フローの品質に関する最先端は依然として伝統的な手法によって定義されています。特に小さな移動量や実世界データにおいて、FlowNetは変分法と競争できません。本論文では、オプティカルフローのエンドツーエンド学習の概念を進展させ、その性能を大幅に向上させることに成功しました。品質と速度における大きな改善は、以下の3つの主要な貢献によりもたらされました。第一に、訓練データに焦点を当て、訓練中にデータを提示するスケジュールが非常に重要であることを示しました。第二に、中間のオプティカルフローを使用して2枚目の画像をワーピングするスタックアーキテクチャを開発しました。第三に、小さな動きに特化したサブネットワークを導入することで、小さな移動量について詳細に取り組みました。FlowNet 2.0は元のFlowNetよりも僅かに遅いものの、推定誤差を50%以上減少させました。また、最先端の手法と同等の性能を持ちながらインタラクティブなフレームレートで動作します。さらに、最大140fpsでオプティカルフローを計算できる高速バリアントも紹介し、精度は元のFlowNetと同等です。