Apporter des prototypes de liaison adaptative à la segmentation d'expressions de référence généralisée

La segmentation d'expressions de référence (RES) a attiré une attention croissante, visant à identifier et segmenter des objets en fonction d'expressions linguistiques naturelles. Bien que des progrès substantiels aient été réalisés dans le domaine de la RES, l'émergence de la segmentation d'expressions de référence généralisée (GRES) introduit de nouveaux défis en permettant aux expressions de décrire plusieurs objets ou de ne pas faire référence à un objet spécifique.Les méthodes existantes en RES s'appuient généralement sur des modules encodeur-décodeur sophistiqués et des modules de fusion de caractéristiques, ce qui rend difficile la génération de prototypes de classe correspondant à chaque instance individuellement lorsqu'elles sont confrontées aux référents complexes et aux étiquettes binaires du GRES. Dans cet article, en réévaluant les différences entre la RES et la GRES, nous proposons un nouveau modèle avec des prototypes d'association adaptative (MABP) qui lie adaptativement les requêtes aux caractéristiques d'objets dans la région correspondante. Ce modèle permet à différents vecteurs de requête de correspondre à des instances de différentes catégories ou à différentes parties d'une même instance, augmentant considérablement la flexibilité du décodeur, répartissant la pression globale sur toutes les requêtes et allégeant les exigences pesant sur l'encodeur.Les résultats expérimentaux montrent que le MABP surpasse significativement les méthodes les plus avancées dans les trois sous-ensembles du jeu de données gRefCOCO. Par ailleurs, le MABP dépasse également les méthodes les plus avancées sur les jeux de données RefCOCO+ et G-Ref, et obtient des résultats très compétitifs sur RefCOCO.Le code est disponible à l'adresse suivante : https://github.com/buptLwz/MABP