L'ensemble de données CompreCap a été créé conjointement par l'Université des sciences et technologies de Chine et Ant Group en 2024 pour évaluer la précision et l'exhaustivité des modèles de langage visuel à grande échelle dans la génération de descriptions d'images détaillées. Les résultats pertinents de l'article sont «Analyse comparative de grands modèles vision-langage via un graphique de scène dirigé pour un sous-titrage d'images complet". L'ensemble de données contient 560 images, chacune d'entre elles ayant été finement segmentée sémantiquement et annotée avec des objets, des attributs et des relations pour former une structure de graphe de scène orientée complète.

L'ensemble de données est construit sur la base de l'ensemble de données de segmentation panoptique MSCOCO, mais est étendu et amélioré. Les chercheurs ont construit un vocabulaire de catégories d’objets communs à partir de plusieurs ensembles de données bien connus et ont réannoté ces catégories pour fournir des masques de segmentation sémantique plus précis. Afin de garantir l'exhaustivité de l'annotation, seules les images dont les régions segmentées couvrent plus de 95% de zone d'image sont conservées. Les chercheurs ont ensuite ajouté manuellement des descriptions d’attributs détaillées pour ces objets et ont annoté les relations importantes entre les objets pour former une structure de graphe de scène dirigée complète.

Les informations d'annotation de l'ensemble de données CompreCap incluent le masque de segmentation sémantique de l'objet, la description détaillée des attributs et la relation directionnelle entre les objets. Ces annotations couvrent non seulement les catégories d'objets courantes, mais capturent également les relations complexes entre les objets sous la forme de graphiques de scènes dirigés, permettant à l'ensemble de données d'évaluer de manière exhaustive la qualité de la génération de descriptions d'images détaillées.