プロトタイプメモリネットワークを用いた教師なし動画オブジェクトセグメンテーション

非監督動画オブジェクトセグメンテーションは、初期フレームに真値マスクが存在しない状況で動画内の対象オブジェクトをセグメンテーションすることを目指しています。この課題は、動画シーケンス内で最も目立つ共通のオブジェクトの特徴を抽出する必要があるため、非常に困難です。この問題は光学フローなどの運動情報を使用することで解決できますが、隣接フレーム間の情報のみを使用すると、遠隔フレーム間の連結性が低く、性能も低下します。本稿では、新たなプロトタイプメモリネットワークアーキテクチャを提案します。提案モデルは、入力RGB画像と光学フロー地図からスーパーピクセルベースのコンポーネントプロトタイプを抽出することで、RGBと運動情報を効果的に抽出します。さらに、各フレームにおけるコンポーネントプロトタイプの有用性を自己学習アルゴリズムに基づいて評価し、最も有用なプロトタイプをメモリに適応的に保存し、古くなったプロトタイプを破棄します。私たちはメモリバンク内のプロトタイプを使用して次のクエリフレームのマスクを予測し、これにより遠隔フレーム間の関連性が向上し、正確なマスク予測に貢献します。当方法は3つのデータセットで評価され、最先端の性能を達成しました。様々なアブレーションスタディを通じて提案モデルの有効性を証明しています。