SVG Benchmark ist ein umfangreicher Datensatz zur Evaluierung der Generierung statischer Bilder durch Modelle, der von Rapidata im Jahr 2025 veröffentlicht wurde. Ziel ist es, die Fähigkeit von 30 hochmodernen großen Sprachmodellen zur Generierung statischer SVGs auf Basis von Texteingaben durch menschliche Bewertung zu vergleichen. Die Daten wurden durch paarweise Vergleiche erhoben und umfassten 500 englische Prompts aus von Menschen erstellten oder öffentlich zugänglichen Datensätzen, 188.754 Bildvergleichsbeispiele und 1.355.161 Präferenzantworten basierend auf menschlichen Abstimmungen. Die Evaluierungsmodelle umfassten 30 gängige Modelle, darunter Claude, GPT, Gemini, DeepSeek, Qwen und Kimi. Die Evaluierungsdimensionen waren Ausrichtung, Kohärenz und Präferenz, alle basierend auf der Aggregation menschlicher Abstimmungen, ohne Verwendung automatisierter Metriken.

Datensatzzusammensetzung:

Der Datensatz erhielt insgesamt 1.355.161 menschliche Stimmen, davon:

• Subjektive Präferenzen: 451.452 Mal
• Trefferquote: 451.603 Mal
• Kontinuität: 452.106 Mal

Datenfelder:

• prompt: String, der ursprüngliche Text, der zur Generierung des Bildes verwendet wurde.
• image1 / image2: Bilder, Modell 1 und Modell 2, die als gerasterte SVG-PNG-Dateien generiert wurden.
• model1 / model2: Zeichenketten, die die Modellkennungen für die entsprechenden Bilder darstellen (model1 ist immer das Modell, dessen Name in alphabetischer Reihenfolge an erster Stelle steht).
• weighted_results_image*_preference / coherence / alignment: Eine Gleitkommazahl, die den Gesamtscore des Modells (0 bis 1) über die drei Dimensionen darstellt.
• detailed_results_*: Zeichenkette im JSON-Format, die detaillierte Datensätze zu jeder manuellen Abstimmung und demografische Informationen der Wähler für diese Dimension enthält.
• Hinweis: Einige Stichproben werden möglicherweise nur ein- oder zweidimensional ausgewertet; Felder, die nicht an der Auswertung teilnehmen, können Nullwerte aufweisen.

  

  Zitat

@dataset{yupp_svg_2025,
title={Yupp SVG Dataset: Exploration of the Reasoning and Coding Abilities of Frontier Models},
author={Yupp AI},
year={2025},
url={https://huggingface.co/datasets/yupp/yupp-svg-20251204}
}