Command Palette
Search for a command to run...
グローバルおよびローカル転送モジュールを用いたインタラクティブなビデオオブジェクトセグメンテーション
グローバルおよびローカル転送モジュールを用いたインタラクティブなビデオオブジェクトセグメンテーション
Yuk Heo Yeong Jun Koh Chang-Su Kim
概要
本論文では、クエリオブジェクトに対するスクリブル注釈を入力とするインタラクティブなビデオオブジェクトセグメンテーションアルゴリズムを提案します。私たちは、アノテーションネットワーク(A-Net)と転送ネットワーク(T-Net)から構成される深層ニューラルネットワークを開発しました。まず、フレーム上のユーザーのスクリブル注釈が与えられた場合、A-Netはエンコーダー-デコーダー構造に基づいてセグメンテーション結果を生成します。次に、T-Netはグローバル転送モジュールとローカル転送モジュールを使用して、セグメンテーション結果を他のフレームに双方向に転送します。グローバル転送モジュールは、アノテーションされたフレームのセグメンテーション情報をターゲットフレームに伝達し、ローカル転送モジュールは時間的に隣接するフレームのセグメンテーション情報をターゲットフレームに伝播します。A-NetとT-Netを交互に適用することで、ユーザーは最小限の労力で望ましいセグメンテーション結果を得ることができます。私たちは、ユーザーのスクリブル注釈を模倣し、補助損失関数を使用することで、全体のネットワークを2段階で訓練しました。実験結果は、提案したインタラクティブなビデオオブジェクトセグメンテーションアルゴリズムが従来の最先端アルゴリズムを上回ることを示しています。コードとモデルは https://github.com/yuk6heo/IVOS-ATNet で公開されています。