Command Palette
Search for a command to run...
UnOVOST:教師なしオフライン動画オブジェクトセグメンテーションとトラッキング
UnOVOST:教師なしオフライン動画オブジェクトセグメンテーションとトラッキング
Jonathon Luiten Idil Esen Zulfikar Bastian Leibe
概要
無教師動画オブジェクトセグメンテーション(UVOS)とは、どのオブジェクトを追跡すべきかという入力なしに、動画シーケンス内の顕著なオブジェクトに対して正確なピクセルマスクを自動生成し、時間的に一貫してそれらのオブジェクトを追跡するタスクである。本研究では、多様なオブジェクトを追跡・セグメンテーション可能なシンプルかつ汎用的なアルゴリズムとして、UnOVOST(Unsupervised Offline Video Object Segmentation and Tracking)を提案する。このアルゴリズムは、複数の段階を経てトラックを構築する。まず、空間的・時間的に一貫性を持つ短いトラックレット(tracklet)にセグメントをグループ化し、次にそれらのトラックレットを視覚的類似性に基づいて統合して長期的な一貫性を持つオブジェクトトラックとする。この目的を達成するため、新たなトラックレットベースの「フォレストパスカット(Forest Path Cutting)」データアソシエーション手法を導入する。この手法は、トラックの仮説を複数持つ決定木(decision forest)を構築した後、この木をパスに分割し、長期的に一貫したオブジェクトトラックを形成する。DAVIS 2017の無教師データセット上で本手法を評価した結果、検証(val)データでは平均J&Fスコア67.9%、テストデベロップメント(test-dev)では58%、テストチャレンジ(test-challenge)では56.4%を達成し、DAVIS 2019無教師動画オブジェクトセグメンテーションチャレンジにおいて第一位を獲得した。さらに、追跡・セグメンテーション対象のオブジェクトに関するいかなる入力も与えられていないにもかかわらず、多くの半教師あり動画オブジェクトセグメンテーション手法と比較しても競争力のある性能を示した。