MathVista は、ビジュアル環境における包括的な数学的推論ベンチマークです。これは、新しく作成された 3 つのデータセット IQTest、FunctionQA、PaperQA で構成されており、欠落している視覚領域に対処し、それぞれパズル テスト プロットの論理的推論、関数プロットの代数的推論、学術論文のプロットの科学的推論を評価するために使用されます。 MathVista には、31 の異なるデータ セットから収集された合計 6,141 の例が含まれています。

引用

@inproceedings{lu2024mathvista,
author = {Lu, Pan and Bansal, Hritik and Xia, Tony and Liu, Jiacheng and Li, Chunyuan and Hajishirzi, Hannaneh and Cheng, Hao and Chang, Kai-Wei and Galley, Michel and Gao, Jianfeng},
title = {MathVista: Evaluating Mathematical Reasoning of Foundation Models in Visual Contexts},
booktitle = {International Conference on Learning Representations (ICLR)},
year = {2024}
}