QCalEval, 2026 von NVIDIA veröffentlicht, ist ein Datensatz für visuelle Sprachmodelle zur Graphenanalyse in Quantencomputer-Experimenten. Er dient der Evaluierung der Fähigkeit visueller Sprachmodelle (VLMs), die Ergebnisse von Kalibrierungsexperimenten im Quantencomputing zu interpretieren, zu klassifizieren und zu analysieren. QCalEval findet breite Anwendung in der Forschung zu visuellen Sprachmodellen und wissenschaftlicher Bildanalyse, insbesondere für das Benchmarking von Modellen in der automatisierten Quantencomputing-Analyse, die Evaluierung der Fähigkeiten zur wissenschaftlichen Grapheninterpretation, die Forschung zum multimodalen kontextuellen Lernen sowie den Leistungsvergleich strukturierter wissenschaftlicher Aufgaben unter Zero-Shot- und Few-Shot-Bedingungen. Der Datensatz enthält 309 wissenschaftliche 2D-Bilder im PNG-Format, 243 Benchmark-Einträge und 236 Benchmark-Einträge mit wenigen Stichproben, die 22 Versuchsreihen und 87 Szenentypen abdecken.

Datenzusammensetzung

• Zweidimensionale wissenschaftliche Bilder im PNG-Format (wie Streudiagramme, Liniendiagramme und Heatmaps).
• Benchmark-Testaufgaben: Jede Aufgabe besteht aus 6 Frage-Antwort-Paaren, die 6 Aspekte abdecken: visuelle Beschreibung, Ergebnisklassifizierung, wissenschaftliches Denken, Beurteilung der Anpassungszuverlässigkeit, Parameterextraktion und Kalibrierungsdiagnose, insgesamt 1.458 QA-Aufgaben.
• Einige Beispielaufgaben: 3 Frage-Antwort-Paare pro Aufgabe, insgesamt 708 Fragen und Antworten.

Zitat

@misc{cao2026qcaleval,
title = {QCalEval: Benchmarking Vision-Language Models for Quantum Calibration Plot Understanding},
author = {Cao, Shuxiang and Zhang, Zijian and others},
year = {2026},
url = {https://research.nvidia.com/publication/2026-04_qcaleval-benchmarking-vision-language-models-quantum-calibration-plot},
}