2ヶ月前
提案、追跡、セグメンテーション(PTS):ビデオオブジェクトセグメンテーションのためのカスケードネットワーク
Zhou, Qiang ; Huang, Zilong ; Huang, Lichao ; Gong, Yongchao ; Shen, Han ; Huang, Chang ; Liu, Wenyu ; Wang, Xinggang
要約
ビデオオブジェクトセグメンテーション(VOS)は、最初のフレームでのアノテーションのみを基にピクセルレベルでのオブジェクト追跡を目指す技術である。ビデオ内のオブジェクトの大きな視覚的な変動と学習サンプルの不足により、深層学習の急速な発展にもかかわらず、依然として難しい課題となっている。VOS問題の解決に向けて、我々は提案する統合フレームワークにより新たな洞察をもたらす。このフレームワークには、オブジェクト提案、追跡、セグメンテーションの各コンポーネントが含まれている。オブジェクト提案ネットワークは、一般的な知識として物体性情報をVOSに転送し、追跡ネットワークは提案された候補から目標オブジェクトを識別し、セグメンテーションネットワークは新しい動的参照ベースモデル適応スキームに基づいて追跡結果に基づいて実行される。DAVIS'17データセットおよびYouTube-VOSデータセットにおいて広範な実験が行われ、我々の手法はいくつかのビデオオブジェクトセグメンテーションベンチマークで最先端の性能を達成している。コードは https://github.com/sydney0zq/PTSNet で公開されている。