ラベルなし動画からの学習による動画オブジェクトセグメンテーション

我々は、従来の多数の手法が大量のアノテーションデータに依存するのに対し、ラベルなし動画からのオブジェクトパターン学習に着目した、新しい動画オブジェクトセグメンテーション（VOS）手法を提案する。本研究では、マルチスケールの粒度でVOSの内在的特性を包括的に捉えることのできる、統一された無監視／弱監視学習フレームワーク「MuG」を導入する。このアプローチにより、VOSにおける視覚パターンの理解を進展させるとともに、アノテーションの負担を顕著に軽減することが可能となる。精密に設計されたアーキテクチャと強力な表現学習能力を備えた本手法は、オブジェクトレベルのゼロショットVOS、インスタンスレベルのゼロショットVOS、およびワンショットVOSを含む多様なVOS設定に応用可能である。実験結果から、これらの設定において有望な性能が示されたほか、MuGがラベルなしデータを活用してセグメンテーション精度をさらに向上させる可能性も示された。