「動きを予測してセグメンテーション：非監督動画および画像のセグメンテーション」

光学フローを用いて測定される運動は、画像や動画における物体の発見と学習に強力な手がかりを提供します。しかし、外観を使用する方法と比較すると、運動しない物体が見えなくなるなどの盲点があります。本研究では、運動に基づくセグメンテーションと外観に基づくセグメンテーションの長所を組み合わせたアプローチを提案します。単一の画像を入力として使用するモデルに対して、単純な運動パターンが含まれる可能性のある領域を予測する前処理タスクで画像セグメンテーションネットワークを監督することを提案します。これにより、2つの設定で適用が可能となります：無教師動画セグメンテーションと無教師画像セグメンテーションです。動画において最先端の結果を得ることができ、新規物体を含む静止画でも当アプローチの有効性を示しています。さらに、異なる運動モデルや光学フローバックボーンを使用して実験を行い、これらの変更に対して方法が堅牢であることを確認しました。プロジェクトページおよびコードは https://www.robots.ox.ac.uk/~vgg/research/gwm で利用可能です。