QCalEval, publié par NVIDIA en 2026, est un jeu de données de langage visuel destiné à la compréhension de graphes dans le cadre d'expériences de calcul quantique. Il vise à évaluer la capacité des modèles de langage visuel (MLV) à interpréter, classifier et raisonner sur les résultats d'expériences de calibration en calcul quantique. Il est largement utilisé dans la recherche sur les modèles de langage visuel et la compréhension d'images scientifiques, notamment pour l'évaluation comparative de modèles dans l'analyse automatisée du calcul quantique, l'évaluation des capacités d'interprétation de graphes scientifiques, la recherche sur l'apprentissage contextuel multimodal et la comparaison des performances de tâches scientifiques structurées dans des conditions d'apprentissage avec peu ou pas d'exemples. L'ensemble de données contient 309 images scientifiques 2D au format PNG, 243 entrées de référence et 236 entrées de référence à faible nombre d'échantillons, couvrant 22 séries expérimentales et 87 types de scènes.

Composition des données

• Images scientifiques bidimensionnelles au format PNG (telles que des nuages de points, des graphiques linéaires et des cartes thermiques).
• Éléments de test de référence : Chaque élément se compose de 6 paires question-réponse, couvrant 6 aspects : description visuelle, classification des résultats, raisonnement scientifique, évaluation de la fiabilité de l’ajustement, extraction des paramètres et diagnostic d’étalonnage, pour un total de 1 458 éléments QA.
• Quelques exemples d'éléments de test : 3 paires question-réponse par élément, soit un total de 708 éléments QA.

Citation

@misc{cao2026qcaleval,
title = {QCalEval: Benchmarking Vision-Language Models for Quantum Calibration Plot Understanding},
author = {Cao, Shuxiang and Zhang, Zijian and others},
year = {2026},
url = {https://research.nvidia.com/publication/2026-04_qcaleval-benchmarking-vision-language-models-quantum-calibration-plot},
}