F2Net：教師なし動画オブジェクトセグメンテーションにおける前景に注目する学習

深層学習に基づく手法は、教師なし動画オブジェクトセグメンテーションにおいて著しい進展を遂げてきたが、視覚的類似性、遮蔽、外観の変化といった困難なシナリオは依然として十分に扱われていない。こうした課題を緩和するために、本研究では前景オブジェクトのフレーム内・フレーム間の詳細な特徴に注目する新たなネットワーク「Focus on Foreground Network（F2Net）」を提案する。本手法は、前景オブジェクトに焦点を当てた特徴表現を強化することで、セグメンテーション性能を顕著に向上させる。具体的には、本ネットワークは3つの主要モジュールから構成される：シメイズエンコーダモジュール、センター誘導的外観拡散モジュール、および動的情報統合モジュール。まず、ペアフレーム（参照フレームと現在フレーム）の特徴表現を抽出するためにシメイズエンコーダを用いる。次に、センター誘導的外観拡散モジュールを設計し、参照フレームと現在フレーム間の密な対応関係（フレーム間特徴）、現在フレーム内の密な対応関係（フレーム内特徴）、および現在フレームの元の意味特徴を同時に捉える。特に、現在フレームにおける前景オブジェクトの中心位置を予測する「センター予測ブランチ」を導入し、その中心点情報を空間的ガイドPRIORとして活用することで、フレーム間およびフレーム内特徴の抽出を強化し、結果として特徴表現が前景オブジェクトに強く集中する。最後に、前述の3つの異なるレベルの特徴から、動的情報統合モジュールを用いて重要度の高い特徴を自動的に選択する。DAVIS2016、Youtube-Object、FBMSの3つのデータセットにおける広範な実験結果から、提案手法F2Netが、顕著な性能向上を達成し、最先端の性能を実現していることが示された。