NVIDIAが2026年にリリースしたQCalEvalは、量子コンピューティング実験におけるグラフ理解のためのビジュアル言語データセットです。量子コンピューティングのキャリブレーション実験の結果を解釈、分類、推論するビジュアル言語モデル（VLM）の能力を評価することを目的としています。ビジュアル言語モデルや科学画像理解の研究、特に量子コンピューティングの自動分析におけるモデルベンチマーク、科学グラフ解釈能力の評価、マルチモーダルな文脈学習研究、ゼロショットおよび少数ショット条件下での構造化科学タスクのパフォーマンス比較などに広く利用されています。 このデータセットには、PNG形式の2D科学画像309枚、ベンチマークエントリ243件、少数サンプルベンチマークエントリ236件が含まれており、22の実験シリーズと87のシーンタイプを網羅しています。

データ構成

• PNG形式の2次元科学画像（散布図、折れ線グラフ、ヒートマップなど）。
• ベンチマークテスト項目：各項目は6つの質問と回答のペアで構成され、視覚的説明、結果の分類、科学的推論、適合信頼性評価、パラメータ抽出、および較正診断の6つの側面を網羅しており、合計1,458のQA項目があります。
• 少数のサンプルを用いたテスト項目：1項目につき3組の質問と回答のペアがあり、合計708のQA項目があります。

引用

@misc{cao2026qcaleval,
title = {QCalEval: Benchmarking Vision-Language Models for Quantum Calibration Plot Understanding},
author = {Cao, Shuxiang and Zhang, Zijian and others},
year = {2026},
url = {https://research.nvidia.com/publication/2026-04_qcaleval-benchmarking-vision-language-models-quantum-calibration-plot},
}