競争的協調: 深度、カメラの動き、光学フローおよび運動セグメンテーションの共同非監督学習

私たちは低レベル視覚における複数の関連する問題の非監督学習に取り組んでいます。これらの問題は単一視点からの深度予測、カメラの動き推定、光学フロー、およびビデオを静止画と動く領域に分割することです。私たちの主要な洞察は、これらの4つの基本的な視覚問題が幾何学的制約を通じて相互に関連していることです。したがって、それらを一緒に解くことで問題が簡素化され、各解が互いに補完し合うことができます。私たちは以前の研究を超えて、幾何学的制約をより明示的に活用し、シーンを静止画と動く領域に分割することを目指しています。そのために、私たちは「競合協力（Competitive Collaboration）」というフレームワークを導入しました。このフレームワークは、複数の専門的なニューラルネットワークが複雑な問題を解決するために協調して訓練されることを可能にします。「競合協力」は期待最大化法のように動作しますが、静止画または動く領域に対応するピクセルを説明するための競争相手として機能するニューラルネットワークと、ピクセルを静止または独立して動くものとして割り当てる調整者を通じて協力するという点で異なります。私たちの新しい手法は、これらすべての問題を共通のフレームワークに統合し、シーン内の動物体と静止背景へのセグメンテーション、カメラの動き、静止シーン構造の深度、および動物体の光学フローについて同時に推論します。私たちのモデルは一切の教師なしで訓練され、すべての部分問題において他の合同非監督方法の中で最先端の性能を達成しています。