自己監督型動画オブジェクトセグメンテーションによる動作グループ化

動物は、複雑な環境下でも運動を理解し、知覚を支援する機能的な視覚システムを進化させてきました。本論文では、運動の手がかりを利用して物体をセグメンテーションするコンピュータビジョンシステムの開発に取り組んでいます。具体的には、以下の貢献を行っています。第一に、光学的流れのフレームを主要な物体と背景に分割するためのトランスフォーマーの単純な変種を導入します。第二に、手動アノテーションを使用せずに自己教師あり学習でアーキテクチャを訓練します。第三に、方法のいくつかの重要な構成要素について分析を行い、徹底的な削減実験を通じてそれらの必要性を検証します。第四に、提案したアーキテクチャを公開ベンチマーク（DAVIS2016, SegTrackv2, および FBMS59）で評価します。入力として光学的流れのみを使用しているにもかかわらず、当アプローチは既存の最先端自己教師あり手法と同等または優れた結果を得ており、かつその処理速度は一桁速くなっています。さらに、難易度の高いカモフラージュデータセット（MoCA）での評価においても、他の自己教師あり手法を大幅に上回り、最高峰の教師あり手法と比較しても優れた性能を示しています。これらの結果は運動の手がかりの重要性と、既存のビデオセグメンテーションモデルにおける視覚的外観への潜在的なバイアスを強調しています。