動作をオプションとして扱い、出力選択を行う非教師ありビデオオブジェクトセグメンテーション

非監督動画オブジェクトセグメンテーションは、動画内の最も注目すべきオブジェクトを外部からのガイドなしで検出することを目指しています。注目すべきオブジェクトは、背景に対して特徴的な動きを示すことが多く、最近の手法では、光学フロー図から得られる運動情報をRGB画像から得られる外観情報と組み合わせることでこの特性を利用しています。しかし、光学フロー図はしばしばセグメンテーションマスクと密接に関連しているため、ネットワークが訓練中に運動情報に過度に依存してしまうことがあります。これにより、混乱する運動情報が与えられた場合に脆弱性が生じ、予測が不安定になる可能性があります。この課題に対処するために、我々は新たな「モーション・アズ・オプション」ネットワークを提案します。このネットワークは、運動情報を必須ではなく選択的な要素として扱います。訓練中には、光学フロー図の代わりにRGB画像をランダムに入力することで、ネットワークの運動情報への依存度を暗黙的に低減します。この設計により、運動エンコーダーはRGB画像と光学フロー図の両方を処理でき、入力タイプによって異なる2つの予測結果が得られます。この柔軟性を最大限に活用するために、我々はテスト時に最適な予測を選択する適応的な出力選択アルゴリズムを導入しました。