T2I-CoReBench ist ein umfassender Bewertungsmaßstab für textgesteuerte Bildgenerierungsmodelle, der von der University of Science and Technology of China, dem Kuaishou Technology Kling Team und der University of Hong Kong im Jahr 2025 vorgeschlagen wurde. Die relevanten Papierergebnisse sind „Malen ist einfacher als Denken: Können Text-Bild-Modelle die Bühne bereiten, aber nicht das Stück inszenieren?“, dessen Ziel es ist, die Kombinationsfähigkeit und die Argumentationsfähigkeit von Bildgenerierungsmodellen gleichzeitig zu messen.

Der Datensatz enthält 1.080 äußerst anspruchsvolle Eingabeaufforderungen und ist mit etwa 13.500 Prüfelementen in 12 Dimensionen ausgestattet, mit denen bewertet wird, ob jedes erwartete Element im generierten Bild korrekt dargestellt wird.

Datenzusammensetzung

Dieser Datensatz entwirft Eingabeaufforderungen und Bewertungssysteme aus zwei Dimensionen:

• Kompositionsdimension: Erstellen Sie verschiedene Kompositionsstrukturen um drei Arten von Szenendiagrammelementen: Instanz, Attribut und Relation.
• Argumentationsdimension: Basierend auf drei Argumentationsarten: deduktiv, induktiv und abduktiv.

Um eine detaillierte Auswertung zu ermöglichen, wird jeder Eingabeaufforderung eine Ja/Nein-Checkliste beigefügt, in der vermerkt ist, ob jedes implizit oder explizit von der Eingabeaufforderung geforderte Element korrekt dargestellt wird.