DreamBench++ Benchmark-Datensatz Zur Automatischen Bildauswertung

DreamBench++ ist ein neuer Benchmark, der 2024 gemeinsam von Forschern der Tsinghua-Universität, der Xi'an Jiaotong-Universität, der University of Illinois at Urbana-Champaign, der Chinesischen Akademie der Wissenschaften und Megvii eingeführt wurde, um Probleme bei der Bewertung der Technologie zur personalisierten Bilderzeugung zu lösen. Durch die Einführung des multimodalen GPT-4o wird eine tiefe Übereinstimmung und automatisierte Auswertung mit menschlichen Präferenzen erreicht und ein umfassenderer und vielfältigerer Datensatz eingeführt.

Zu den Hauptfunktionen von DreamBench++ gehören:

1. Automatisierte Auswertung: Verwenden Sie GPT-4o für die automatisierte Auswertung und reduzieren Sie so den Zeit- und Kostenaufwand der manuellen Auswertung.
2. Ausrichtung menschlicher Präferenzen: Durch die Entwicklung sorgfältig ausgearbeiteter Eingabeaufforderungen kann GPT-4o während des Bewertungsprozesses wie ein Mensch denken und so sicherstellen, dass die Bewertungsergebnisse mit der menschlichen Intuition und den menschlichen Vorlieben übereinstimmen.
3. Umfassender Datensatz: Es wurde ein personalisierter Datensatz mit 200 Schlüsselwörtern erstellt, der drei Arten von Bildern abdeckt: Objekte, Lebewesen und stilisierte Bilder. Zu den Bildquellen gehörten Unsplash, Rawpixel und Google Image Search. Um die Bildklarheit und -erkennung zu verbessern, wurden Bilder mit klarem Hintergrund und großen Motivproportionen ausgewählt.
4. Experimentelle Ergebnisse: Sieben verschiedene Methoden zur Bildgenerierung wurden bewertet und die Ergebnisse zeigten, dass die Werte von DreamBench++ hinsichtlich Bildähnlichkeit und Texttreue in hohem Maße mit menschlichen Bewertungen übereinstimmten. Die Übereinstimmung erreichte 79,64% bzw. 93,18%, was mehr als 50% höher ist als der bestehende DINO-Score und CLIP-Score.

Die Einführung von DreamBench++ bietet neue Tools und Methoden zur Bewertung der Technologie zur personalisierten Bilderzeugung, die dazu beitragen werden, die weitere Entwicklung in diesem Bereich voranzutreiben. Die relevanten Dokumente und Datensätze wurden zur Verwendung und Bezugnahme durch Forscher und Entwickler öffentlich zugänglich gemacht.