
要約
自然シーンの光学フローは、観測者の動きと物体の独立した動きの組み合わせです。既存のアルゴリズムは、純粋に静止した世界を前提とした運動と構造の復元、または一般的な制約のないシーンの光学フローに焦点を当てることが多いです。本研究では、これらのアプローチを組み合わせて、外観と物理的な制約から動く物体の明示的なセグメンテーションを推定する光学フローアルゴリズムを開発しました。静止領域では、強力な制約を利用して複数フレームにわたるカメラの運動とシーンの3次元構造を同時推定します。これにより、運動ではなく構造を正則化することも可能になります。当方針ではPlane+Parallax(平面+視差)フレームワークを使用しており、小さなベースラインでも動作し、運動推定を1次元探索問題に簡素化することでより正確な推定が実現できます。動く領域ではフローが制約なしとして扱われ、既存の光学フローメソッドで計算されます。この結果、Mostly-Rigid Flow (MR-Flow) メソッドはMPI-SintelおよびKITTI-2015ベンチマークにおいて最先端の結果を達成しています。