2ヶ月前

教師なし動画オブジェクトセグメンテーションのためのマスク選択と伝播

{Vidit Goel, Shubhika Garg}
教師なし動画オブジェクトセグメンテーションのためのマスク選択と伝播
要約

本研究では、明著なオブジェクトに対してインスタンスレベルのセグメンテーションマスクを自動生成し、動画内でそのオブジェクトを追跡する、教師なし動画オブジェクトセグメンテーションのための新規アプローチを提示する。既存手法に見られる時間的伝播におけるオフセット(ドリフト)、追跡の不具合、および新規オブジェクトの追加に関する課題を効率的に処理する。これにより、マスクの品質を検査する目的を持つ複数の評価基準のアンサンブルを用いて、オンラインでマスクを改善するという新たなアイデアを提案する。さらに、マスク品質を評価するためのニューラルネットワーク「Selector Net」という新規なアプローチを導入した。このネットワークは、異なるデータセットに一般化できるように学習される。提案手法は動画全体にわたるノイズの蓄積を効果的に抑制でき、Davis 2019 教師なしチャレンジデータセットにおいて、J&F平均61.6%という最先端の性能を達成した。また、FBMSおよびSegTrack V2などの他のデータセットでも、既存手法と比較して同等または優れた結果を示した。