DreamBench++ est un nouveau benchmark lancé conjointement en 2024 par des chercheurs de l'Université Tsinghua, de l'Université Xi'an Jiaotong, de l'Université de l'Illinois à Urbana-Champaign, de l'Académie chinoise des sciences et de Megvii pour résoudre les problèmes d'évaluation de la technologie de génération d'images personnalisées. Il permet un alignement profond et une évaluation automatisée avec les préférences humaines en introduisant le GPT-4o multimodal, et lance un ensemble de données plus complet et plus diversifié.

Les principales fonctionnalités de DreamBench++ incluent :

1. Évaluation automatisée:Utilisez GPT-4o pour l’évaluation automatisée, réduisant ainsi le temps et le coût de l’évaluation manuelle.
2. Alignement des préférences humaines:En concevant des invites soigneusement élaborées, GPT-4o peut penser comme un humain pendant le processus d'évaluation, garantissant que les résultats de l'évaluation sont cohérents avec l'intuition et les préférences humaines.
3. Ensemble de données complet:Un ensemble de données personnalisé contenant 200 mots-clés a été construit, couvrant trois types d'images : objets, êtres vivants et images stylisées. Les sources d'images comprenaient Unsplash, Rawpixel et Google Image Search. Des images avec des arrière-plans propres et de grandes proportions de sujet ont été sélectionnées pour améliorer la clarté et la reconnaissance de l'image.
4. Résultats expérimentaux:Sept méthodes différentes de génération d'images ont été évaluées et les résultats ont montré que les scores de DreamBench++ en termes de similarité d'image et d'adhérence du texte étaient très cohérents avec les évaluations humaines, avec une cohérence atteignant respectivement 79,64% et 93,18%, ce qui est plus de 50% supérieur au score DINO et au score CLIP existants.

Le lancement de DreamBench++ fournit de nouveaux outils et méthodes pour l’évaluation de la technologie de génération d’images personnalisées, ce qui contribuera à promouvoir le développement ultérieur dans ce domaine. Les documents et ensembles de données pertinents ont été rendus publics pour être utilisés et référencés par les chercheurs et les développeurs.