
要約
本論文では、光学流れから運動分割を行うCNN(畳み込みニューラルネットワーク)ベースの完全非監督手法を提案します。入力される光学流れは、一般的にはアフィンまたは二次運動モデルなどのパラメトリック運動モデルの部分集合として表現可能であると仮定しています。当研究の中心的なアイデアは、期待最大化(EM)フレームワークを活用し、真値や手動アノテーションを必要としない運動分割ニューラルネットワークの損失関数および学習プロセスを理論的に設計することです。ただし、古典的な反復EMとは異なり、ネットワークが学習された後は、未知の光学流れフィールドに対して単一の推論ステップで分割結果を提供でき、運動モデルの推定を必要としません。また、異なる損失関数(ロバストなものを含む)について検討し、光学流れフィールドに適用可能な新しい効率的なデータ拡張技術を提案します。この技術は、光学流れを取り扱う任意のネットワークに適用可能です。さらに、当手法は設計上複数の運動を分割することが可能です。我々の運動分割ネットワークはDAVIS2016、SegTrackV2、FBMS59、MoCAという4つのベンチマークでテストされ、非常に優れた性能を示しました。テスト時の処理速度も高速です。