アダプティブバインディングプロトタイプを一般化された指小表現分割に適用する

指し示し表現セグメンテーション（Referring Expression Segmentation: RES）は、自然言語の表現に基づいて物体を識別およびセグメンテーションすることを目指しており、近年注目を集めています。RESにおいて大きな進展が見られる一方で、一般化された指し示し表現セグメンテーション（Generalized Referring Expression Segmentation: GRES）の登場により、複数の物体を描写する表現や特定の物体参照が欠如する表現を扱う新たな課題が生じています。既存のRES手法は、高度なエンコーダー-デコーダー構造と特徴融合モジュールに依存していますが、GRESの複雑な参照対象と二値ラベルに対処する際には、各インスタンスに個別に対応するクラスプロトタイプを生成することが困難です。本論文では、RESとGRESの違いを見直し、新しいモデルである適応的結合プロトタイプモデル（Model with Adaptive Binding Prototypes: MABP）を提案します。このモデルは、クエリを対応する領域内の物体特徴に適応的に結合することで、異なるクエリベクトルが異なるカテゴリのインスタンスや同一インスタンスの異なる部分にマッチングできるようにします。これにより、デコーダーの柔軟性が大幅に向上し、全体的な負荷がすべてのクエリに分散され、エンコーダーへの要求も軽減されます。実験結果は、gRefCOCOデータセットの3つの分割全てにおいてMABPが最先端手法を大幅に上回ることを示しています。さらに、MABPはRefCOCO+およびG-Refデータセットでも最先端手法を超えており、RefCOCOにおいても非常に競争力のある結果を達成しています。コードはhttps://github.com/buptLwz/MABP で公開されています。