ゼロショット動画オブジェクトセグメンテーション：注意メカニズムを備えたグラフニューラルネットワークを用いた手法

本研究は、ゼロショット動画オブジェクトセグメンテーション（ZVOS）に対して、新たな注目型グラフニューラルネットワーク（AGNN）を提案する。提示されたAGNNは、このタスクを動画グラフ上の反復的情報統合プロセスとして再定式化する。具体的には、AGNNはフレームをノードとして、任意のフレームペア間の関係をエッジとして表現する完全連結グラフを構築する。これにより、フレーム間のペアワイズ関係は微分可能なアテンション機構によって記述される。パラメトリックなメッセージ伝達を用いることで、AGNNは動画フレーム間のより豊富で高次の関係を効率的に捉え、抽出可能となる。その結果、動画コンテンツに対するより包括的な理解と、より正確な前景推定が実現される。3つの動画セグメンテーションデータセットにおける実験結果から、AGNNは各ケースにおいて新たな最良性能（SOTA）を達成した。さらに、本フレームワークの汎用性を検証するために、AGNNを追加タスクである画像オブジェクト共同セグメンテーション（IOCS）へ拡張した。2つの代表的なIOCSデータセットでの実験においても、AGNNモデルの優位性が再確認された。広範な実験結果により、AGNNが動画フレーム間あるいは関連画像間の潜在的な意味的・外観的関係を学習し、共通オブジェクトを発見可能であることが実証された。