自己教師付き動画オブジェクトセグメンテーション：動きに敏感なマスク伝播による手法

我々は、動画オブジェクトセグメンテーション向けに、自己教師あり時空間マッチング手法「Motion-Aware Mask Propagation（MAMP）」を提案する。MAMPは、アノテーションを必要とせずに、フレーム再構成タスクを用いて訓練を行う。推論時には、各フレームから高解像度の特徴量を抽出し、選択された過去のフレームの予測マスクとともにメモリバンクを構築する。その後、提案する「運動感知型時空間マッチングモジュール」を用いて、メモリバンク内のマスクを次のフレームに伝搬させ、高速な運動や長期的なマッチングを扱う。DAVIS-2017およびYouTube-VOSデータセットにおける評価結果から、既存の自己教師あり手法と比較して、より優れた汎化能力を示し、特にDAVIS-2017では4.2%、YouTube-VOSの未見カテゴリでは4.85%高い平均J&Fスコアを達成した。さらに、多くの教師あり動画オブジェクトセグメンテーション手法と同等の性能を発揮している。本研究のコードは以下のURLで公開されている：https://github.com/bo-miao/MAMP。