Command Palette
Search for a command to run...
Image Understanding Benchmark Bildverständnis-Benchmark-Datensatz
Der Image Understanding Benchmark ist ein synthetischer Datensatz zur Bewertung der Bildverständnisfähigkeit, der 2024 von Microsoft veröffentlicht wurde. Er zielt darauf ab, die Fähigkeiten multimodaler Modelle in den Bereichen Bildverständnis, räumliches Denken, visuelle Hinweise, Objekterkennung und Objektdetektion zu bewerten.
Der Datensatz umfasst vier Teilaufgaben: Objektdetektion, Objekterkennung, räumliches Denken und visuelle Hinweise. Dabei werden insgesamt etwa 10.240 Bilder generiert. Die Daten werden programmatisch erzeugt, indem Objekte aus dem COCO-Datensatz mit Hintergründen aus Places365 kombiniert und um zufällige Rotationen, Positions- und Skalierungsänderungen ergänzt werden. Der Datensatz kann zur Bewertung der visuellen Verständniskompetenz multimodaler Modelle verwendet werden.
Zusammensetzung des Datensatzes
Der Datensatz enthält 8 Konfigurationen (configs), die in die beiden Bedingungen „Einzelobjekt“ (single) und „Objektpaare“ (pairs) unterteilt sind. Er deckt die folgenden vier Teilaufgaben ab:
- Objektdetektion (Object Detection)
- Objekterkennung (Object Recognition)
- Räumliches Denken (Spatial Reasoning)
- Visuelle Hinweise (Visual Prompting)
Für jede Teilaufgabe werden unter beiden Bedingungen jeweils 1.280 Bilder generiert, was insgesamt etwa 10.240 Bildern entspricht. Jede Konfiguration umfasst hauptsächlich die folgenden Felder:
- id: Die eindeutige Kennung des Datenpunkts.
- image: Das Eingabebild.
- prompt: Der Hinweistext zur Bewertung des Modells.
- ground_truth: Die Referenzlösung für einige der Aufgaben.
KI mit KI entwickeln
Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.