MATH-500

MATHデータセットの500問のサブセット。代数、幾何、整数論を含む6つの領域にわたる競技レベルの数学を扱う。

スコア分布

非推奨のモデルを含める

ランク	モデル	スコア
1	o3 OpenAI	99.2%
2	EXAONE 4.0 32B (Reasoning) LG AI Research	97.7%
3	R1 1776 Perplexity	95.4%
4	Llama 3.1 Nemotron Ultra 253B v1 (Reasoning) NVIDIA	95.2%
5	EXAONE 4.0 32B (Non-reasoning) LG AI Research	93.9%
6	ERNIE 4.5 300B A47B Baidu	93.1%
7	Reka Flash 3 Reka AI	89.3%
8	Llama 4 Maverick Meta	88.9%
9	Llama 4 Scout Meta	84.4%
10	Nova Premier Amazon	83.9%
11	Command A Cohere	81.9%
12	Phi-4 Microsoft	81.0%
13	Llama 3.3 Instruct 70B Meta	77.3%
14	Llama 3.1 Instruct 405B Meta	70.3%
15	Nova Micro Amazon	70.3%
16	Phi-4 Mini Instruct Microsoft	69.6%
17	Phi-4 Multimodal Instruct Microsoft	69.3%
18	Llama 3.2 Instruct 90B (Vision) Meta	62.9%
19	Jamba 1.7 Large AI21 Labs	60.0%
20	DeepHermes 3 - Mistral 24B Preview (Non-reasoning) Nous Research	59.5%
21	Llama 3.2 Instruct 11B (Vision) Meta	51.6%
22	Jamba 1.7 Mini AI21 Labs	25.8%
23	DeepHermes 3 - Llama-3.1 8B Preview (Non-reasoning) Nous Research	21.8%