PerceptionBench ist ein Benchmark-Datensatz zur Bewertung der visuellen Wahrnehmungsfähigkeiten großer Modelle, der 2026 von Moonshot AI veröffentlicht wurde. Er wurde speziell entwickelt, um die grundlegenden visuellen Wahrnehmungsfähigkeiten multimodaler großer Sprachmodelle (MLLMs) zu evaluieren. Zugehörige Forschungsarbeiten umfassen… PerceptionBench: Evaluierung atomarer visueller Wahrnehmung in multimodalen großen Sprachmodellen . Dieser Datensatz enthält 3.000 validierte Testfragen zu zehn grundlegenden Wahrnehmungsfähigkeiten: visuelles Beziehungsverständnis, Zählen, Attributerkennung, Tiefen- und 3D-Wahrnehmung, räumliche Lokalisation, vergleichendes Denken, detailliertes Erkennen, Kontextintegration, OCR-Textverständnis und wahrnehmungsbezogene Halluzinationen. 1.800 dieser Fragen sind Teilprobleme auf atomarer Ebene, die aus fehlerhaften Beispielen bestehender Benchmarks abgeleitet wurden, während 1.200 Fragen anhand von Zusatzbildern neu erstellt wurden. Die Evaluierung erfolgt mittels standardisierter Promptwortvorlagen und maximalem verfügbaren Inferenzbudget. Dabei werden offene Frage-Antwort-Tests mit 16 hochmodernen multimodalen Sprachmodellen durchgeführt, darunter GPT-5.6-Sol, Kimi K3 und Claude-Fable-5.

Datenfelder:

• Index: Eindeutige Indexnummer der Stichprobe
• Antwort: Referenzantwort
• Problem: Problembeschreibung
• Hinweis: Aufforderungsnachricht
• Bild: Bildinformationen in der Frage
• Fehlerkategorie: Die Kategorie der atomaren Sensorik, die der Probe entspricht.
• source_bmk: Quellkennung des Upstream-Benchmarks
• source_idx: Der ursprüngliche Index der Stichprobe im vorgelagerten Benchmark.

Zitat

@article{perceptionbench2026,
title   = {PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models},
author  = {Moonshot AI},
year    = {2026}
}