2ヶ月前

GRES: 汎用参照表現分割

Liu, Chang ; Ding, Henghui ; Jiang, Xudong
GRES: 汎用参照表現分割
要約

指し示し表現セグメンテーション(Referring Expression Segmentation: RES)は、与えられた言語表現で説明された対象物のセグメンテーションマスクを生成することを目指しています。既存の古典的なRESデータセットや手法は一般的に単一目標の表現のみをサポートしており、つまり一つの表現が一つの目標対象物を指すという形です。複数目標や無目標の表現は考慮されていません。これにより、実際のRESの使用範囲が制限されています。本論文では、古典的なRESを拡張して任意の数の目標対象物を指すことができる新しいベンチマークである一般化指し示し表現セグメンテーション(Generalized Referring Expression Segmentation: GRES)を導入します。この目的に向けて、多目標、無目標、および単一目標の表現を含む大規模なGRESデータセットgRefCOCOを構築しました。GRESとgRefCOCOはRESとの互換性が高く設計されており、既存のRES手法がGRESタスクにおいてどの程度パフォーマンスギャップがあるかを研究するための広範な実験を容易にします。実験研究において、GRESにおける大きな課題の一つが複雑な関係モデル化であることが明らかになりました。これを踏まえて、画像を部分インスタンス手がかりを持つ領域に適応的に分割し、領域間および領域-言語依存関係を明示的にモデル化する領域ベースのGRES基準モデルReLA(Region-based Language Adaptive model for GRES)を提案します。提案したアプローチReLAは新規提唱されたGRESタスクと古典的なRESタスク双方で新たな最先端性能を達成しました。提案されたgRefCOCOデータセットと手法はhttps://henghuiding.github.io/GRES で公開されています。

GRES: 汎用参照表現分割 | 最新論文 | HyperAI超神経