高速かつ正確なオンラインビデオオブジェクトセグメンテーションを部品追跡により実現

オンライン動画オブジェクトセグメンテーションは、画像シーケンスをタイムリーかつ正確に処理する必要があるため、挑戦的なタスクです。動画内の対象オブジェクトをセグメンテーションするために、多くのCNNベースの手法が開発されてきましたが、これらの手法は最初のフレームでのオブジェクトマスクに対して重いファインチューニングを行う必要があり、オンラインアプリケーションには時間がかかります。本論文では、画像を受け取った瞬間にセグメンテーションプロセスをすぐに開始できる高速かつ正確な動画オブジェクトセグメンテーションアルゴリズムを提案します。まず、大規模な変形、遮蔽（occlusion）、複雑な背景などの課題に対処するために、部位ベースの追跡手法を利用します。追跡された部位のバウンディングボックスに基づいて、ROI（Region of Interest）セグメンテーションネットワークを構築し、部位マスクを生成します。最後に、類似性に基づくスコアリング関数を採用して、これらの人体部位を最初のフレームにおける視覚情報と比較することで精緻化します。当手法はDAVISベンチマークデータセットにおいて精度面で最先端のアルゴリズムと匹敵する性能を示しており、さらに大幅に高速な実行時間性能を達成しています。