HyperAIHyperAI

Command Palette

Search for a command to run...

Image Understanding Benchmark Bildverständnis-Benchmark-Datensatz

Datum

Organisation

Microsoft Corporation

Lizenz

cdla-permissive-2.0

Der Image Understanding Benchmark ist ein synthetischer Datensatz zur Bewertung der Bildverständnisfähigkeit, der 2024 von Microsoft veröffentlicht wurde. Er zielt darauf ab, die Fähigkeiten multimodaler Modelle in den Bereichen Bildverständnis, räumliches Denken, visuelle Hinweise, Objekterkennung und Objektdetektion zu bewerten.

Der Datensatz umfasst vier Teilaufgaben: Objektdetektion, Objekterkennung, räumliches Denken und visuelle Hinweise. Dabei werden insgesamt etwa 10.240 Bilder generiert. Die Daten werden programmatisch erzeugt, indem Objekte aus dem COCO-Datensatz mit Hintergründen aus Places365 kombiniert und um zufällige Rotationen, Positions- und Skalierungsänderungen ergänzt werden. Der Datensatz kann zur Bewertung der visuellen Verständniskompetenz multimodaler Modelle verwendet werden.

Zusammensetzung des Datensatzes

Der Datensatz enthält 8 Konfigurationen (configs), die in die beiden Bedingungen „Einzelobjekt“ (single) und „Objektpaare“ (pairs) unterteilt sind. Er deckt die folgenden vier Teilaufgaben ab:

  • Objektdetektion (Object Detection)
  • Objekterkennung (Object Recognition)
  • Räumliches Denken (Spatial Reasoning)
  • Visuelle Hinweise (Visual Prompting)

Für jede Teilaufgabe werden unter beiden Bedingungen jeweils 1.280 Bilder generiert, was insgesamt etwa 10.240 Bildern entspricht. Jede Konfiguration umfasst hauptsächlich die folgenden Felder:

  • id: Die eindeutige Kennung des Datenpunkts.
  • image: Das Eingabebild.
  • prompt: Der Hinweistext zur Bewertung des Modells.
  • ground_truth: Die Referenzlösung für einige der Aufgaben.
数据集示例
数据集示例

KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp