動きに基づくバイラテラルネットワークを用いた教師なし動画オブジェクトセグメンテーション

本研究では、事前に対象となる物体に関する知識を有しない状態で動く物体をセグメンテーションする非教師あり動画オブジェクトセグメンテーション問題に取り組む。まず、非オブジェクト領域の動きのパターンに基づいて背景を推定するための、動きに基づくバイラテラルネットワークを提案する。このバイラテラルネットワークは、背景領域を正確に識別することで、誤検出領域を低減する。次に、このバイラテラルネットワークから得られる背景推定値とインスタンス埋め込みを統合し、複数フレームにわたる推論を可能にするグラフを構築する。グラフのエッジにより、異なるフレームからのピクセル同士を連結することで、時間的な整合性を保ちつつセグメンテーションを実現する。その後、コスト関数を定義し最小化することでグラフノードを分類し、ノードラベルに基づいて動画フレームをセグメンテーションする。提案手法は、DAVIS 2016およびFBMS-59データセットにおいて、従来の最先端手法を上回る性能を達成した。