SelfEval : Exploiter la nature discriminative des modèles génératifs pour l’évaluation

Nous présentons une méthode automatisée pour évaluer l’alignement texte-image des modèles génératifs à diffusion texte-image, en utilisant des jeux de données standard de reconnaissance image-texte. Notre méthode, baptisée SelfEval, utilise le modèle génératif pour calculer la probabilité d’images réelles étant donné des promts texte, et cette probabilité peut être exploitée pour effectuer des tâches de reconnaissance avec le modèle génératif lui-même. Nous évaluons les modèles génératifs sur des jeux de données standards conçus pour l’apprentissage discriminatif multimodal texte-image, et analysons des aspects fins de leur performance : liaison d’attributs, reconnaissance de couleurs, comptage, reconnaissance de formes, compréhension spatiale. Les métriques automatisées existantes reposent sur un modèle pré-entraîné externe, tel que CLIP (VLMs) ou des LLMs, et sont sensibles au modèle spécifique utilisé ainsi qu’à ses limites. SelfEval contourne ces problèmes, et, à notre connaissance, constitue la première métrique automatisée à montrer un haut degré de concordance avec les évaluations humaines de référence (gold-standard) pour mesurer la fidélité au texte, sur plusieurs modèles génératifs, benchmarks et métriques d’évaluation. SelfEval révèle également que les modèles génératifs atteignent des performances compétitives sur des tâches exigeantes telles que Winoground, comparativement aux modèles discriminatifs. Nous espérons que SelfEval facilitera une évaluation automatisée simple et fiable des modèles à diffusion.