T2I-CoReBench est un benchmark d'évaluation complet pour les modèles de génération d'images pilotés par texte proposé par l'Université des sciences et technologies de Chine, l'équipe Kuaishou Technology Kling et l'Université de Hong Kong en 2025. Les résultats pertinents de l'article sont "Peindre plus facilement que penser : les modèles texte-image peuvent-ils planter le décor, mais pas diriger la pièce ?", qui vise à mesurer simultanément la capacité de combinaison et la capacité de raisonnement des modèles de génération d'images.

L'ensemble de données contient 1 080 invites très stimulantes et est équipé d'environ 13 500 éléments d'inspection couvrant 12 dimensions, qui sont utilisés pour évaluer si chaque élément attendu dans l'image générée est correctement présenté.

Composition des données

Cet ensemble de données conçoit des invites et des systèmes d'évaluation à partir de deux dimensions :

• Dimension de composition : créez différentes structures de composition autour de trois types d'éléments de graphe de scène : instance, attribut et relation.
• Dimension du raisonnement : Basée sur trois types de raisonnement : déductif, inductif et abductif.

Pour faciliter une évaluation précise, chaque invite est accompagnée d’une liste de contrôle oui/non qui indique si chaque élément implicitement ou explicitement requis par l’invite est correctement présenté.