要約
教師なし動画オブジェクトセグメンテーション（Unsupervised Video Object Segmentation: UVOS）は、人為的な介入なしに動画内の主要オブジェクトを抽出することを目的としている。主なオブジェクトに関する事前知識が欠如しているため、動画からそれらを特定することはUVOSの主要な課題である。従来の手法は、動きのあるオブジェクトを主なオブジェクトとみなす傾向があり、動画内の運動情報を捉えるために光流（optical flow）に依存しているが、光流情報だけでは、一緒に動く背景オブジェクトと主なオブジェクトを明確に区別することは困難である。これは、ノイズを含む運動特徴と外見特徴が組み合わさることで、主なオブジェクトの位置特定が誤導されるためである。この問題に対処するため、本研究では、フレーム内コントラスト、運動情報、再発するオブジェクトの時間的整合性という3つの主要な要因を相関させることで、主なオブジェクトを発見する新しい相互変換ネットワークを提案する。これらの各要因は、主なオブジェクトの代表的なタイプに対応しており、本研究で提案する相互メカニズムにより、それらが有機的に連携し、動画から曖昧な干渉要因を効果的に除去できる。さらに、運動特徴から動く背景オブジェクトの情報を排除するために、本研究の変換モジュールは外見特徴を相互に変換することで運動特徴を強化し、外見的に顕著な動きを示すオブジェクトに注目しつつ、同調して動く外れ値を除去することを可能にする。公開ベンチマークにおける実験結果から、本モデルが最先端手法を顕著に上回ることが確認された。