2ヶ月前

動作をオプションとして扱うことで無教師ビデオオブジェクトセグメンテーションにおける動作依存性を軽減する

Suhwan Cho; Minhyeok Lee; Seunghoon Lee; Chaewon Park; Donghyeong Kim; Sangyoun Lee
動作をオプションとして扱うことで無教師ビデオオブジェクトセグメンテーションにおける動作依存性を軽減する
要約

非監督動画オブジェクトセグメンテーション(VOS)は、動画シーケンスにおいてピクセルレベルで最も注目すべきオブジェクトを検出することを目指しています。非監督VOSでは、最先端の手法の多くが、光学フロー図から得られる運動情報を活用し、外観情報と組み合わせて、注目すべきオブジェクトが背景に対して特徴的な動きを持つという性質を利用しています。しかし、これらの手法は運動情報に過度に依存しているため、運動情報が信頼できない場合があることから安定した予測を達成することができません。この問題を解決するために、既存の二ストリームVOS手法の運動依存性を低減する新しい「motion-as-option」ネットワークを提案します。このネットワークは必要に応じて運動情報を選択的に利用することができます。さらに、提案されたネットワークが常に運動情報を必要としないという特性を十分に活用するために、協調学習戦略を導入しました。公開されているすべてのベンチマークデータセットにおいて、我々の提案するネットワークはリアルタイム推論速度で最先端の性能を提供しています。

動作をオプションとして扱うことで無教師ビデオオブジェクトセグメンテーションにおける動作依存性を軽減する | 最新論文 | HyperAI超神経