CoHD : Un Cadre de Décodage Hiérarchique Prenant en Compte le Comptage pour la Segmentation Généralisée des Expressions de Référence

La nouvelle approche proposée de Segmentation des Expressions de Référence Généralisée (GRES) amplifie la formulation classique de RES en intégrant des scénarios complexes multiples/non-cibles. Les méthodes récentes abordent le GRES en étendant directement les cadres de RES bien établis avec l'identification de l'existence d'objets. Cependant, ces méthodes ont tendance à encoder les informations d'objets à plusieurs granularités dans une seule représentation, ce qui rend difficile une représentation précise et complète des objets de différentes granularités. De plus, l'identification simple et binaire de l'existence des objets dans tous les scénarios cibles ne parvient pas à spécifier leurs différences inhérentes, entraînant une ambiguïté dans la compréhension des objets. Pour résoudre ces problèmes, nous proposons un cadre de décodage hiérarchique prenant en compte le \textbf{c}omptage (\textbf{Co}HD). En dissociant les sémantiques complexes de référence en différentes granularités grâce à une hiérarchie visuelle-linguistique, et en les agrégant dynamiquement par sélection intra- et inter-, CoHD améliore la compréhension à plusieurs granularités grâce aux avantages réciproques de sa nature hiérarchique. De plus, nous intégrons la capacité de comptage en incorporant des scénarios multiples/unique/non-cible dans une supervision au niveau du comptage et des catégories, facilitant ainsi la perception complète des objets. Les résultats expérimentaux sur les benchmarks gRefCOCO, Ref-ZOM, R-RefCOCO et RefCOCO démontrent l'efficacité et la rationalité de CoHD, qui surpassent considérablement les méthodes GRES actuelles d'état de l'art. Le code est disponible sur \href{https://github.com/RobertLuo1/CoHD}{ce lien}.