PReMVOS: ビデオオブジェクトセグメンテーションのための提案生成、洗練、およびマージング

本研究では、半教師付きビデオオブジェクトセグメンテーションに取り組みます。これは、最初のフレームにおける真値アノテーションが与えられた場合、ビデオシーケンス内のオブジェクトに対して自動的に正確かつ一貫したピクセルマスクを生成するタスクです。この目標に向けて、PReMVOSアルゴリズム（Proposal-generation, Refinement and Merging for Video Object Segmentation）を提案します。当手法は、この問題を2つのステップに分けて解決します。まず、各ビデオフレームに対して正確なオブジェクトセグメンテーションマスクの候補を生成し、次にこれらの候選を選択して統合することで、ビデオシーケンス全体で正確かつ時間的に一貫したピクセル単位のオブジェクトトラックを作成します。特に複数のオブジェクトをビデオシーケンス内でセグメンテーションする際の困難な課題に対処することを目指しています。当アプローチは、DAVIS 2017ビデオオブジェクトセグメンテーションベンチマークにおいてこれまでの最先端結果をすべて上回り、テスト-デベロップメントデータセットでのJ & F平均スコア71.6を達成しました。さらに、DAVIS 2018ビデオオブジェクトセグメンテーションチャレンジとYouTube-VOS初の大規模ビデオオブジェクトセグメンテーションチャレンジでともに第1位を獲得しています。