TrickVOS: 動画オブジェクトセグメンテーションのためのトリックの集合

時空メモリ（STM）ネットワーク手法は、その優れた性能により半教師付きビデオオブジェクトセグメンテーション（SVOS）において主流となっています。本研究では、これらの手法を改善できる3つの主要な側面を特定しました。i) 教師信号、ii) 事前学習、iii) 空間認識です。これに基づいて、TrickVOSという一般的で手法に依存しない一連のテクニックを提案します。TrickVOSは各側面に対応して、i) 構造認識型ハイブリッド損失関数、ii) 単純なデコーダー事前学習スキーム、iii) 空間制約をモデル予測に課す安価なトラッカーを導入しています。最後に、軽量ネットワークを提案し、TrickVOSで学習させた結果、DAVISおよびYouTubeのベンチマークにおいて最先端の手法と競合する結果を得られることを示しました。また、これはSTMベースのSVOS手法の中で初めて携帯デバイス上でリアルタイムで動作可能な方法の一つとなっています。