CritPt v2

CritPt v2 est la version révisée de CritPt, un benchmark conçu pour évaluer les LLM sur des tâches de raisonnement physique de niveau recherche, comprenant 70 défis de recherche composites. Les modèles résolvent les problèmes à l'aide d'un outil d'exécution de code dans un bac à sable Linux hors ligne.

Poids de l'Indice d'intelligence: 10%
Modèles: 110 actuel, 128 au total
Médiane: 33.5%
Plage: 0.0%–76.5%

Distribution des scores

Le plus bas: 0.0%
Médiane: 33.5%
Le plus élevé: 76.5%

Classement

Inclure les modèles obsolètes

Rang	Modèle	Score	Coût / tâche	Temps / tâche	Tokens de sortie / tâche
101	K2 Horizon 7B Institute of Foundation Models	1.5%	—	—	—
102	Nemotron 3.5 Lightning NVIDIA	1.5%	$0.077	7m 29s	109K
103	DeepSeek V4.1 Flash 1017 (Non-reasoning) DeepSeek	1.0%	$0.043	2m 46s	20.8K
104	K2 Horizon 3.7B Institute of Foundation Models	1.0%	—	—	—
105	North Mini Code Cohere	1.0%	$0	5m 58s	60.8K
106	Mistral Medium 3.5 Mistral	0.5%	$0.76	8m 21s	70.2K
107	Granite 4.2 3B IBM	0.0%	—	—	12.7K
108	Granite 4.2 8B IBM	0.0%	$0.0072	3m 27s	20K
109	Mistral Small 4 (Reasoning) Mistral	0.0%	$0.0077	1m 17s	11.2K
110	NVIDIA Nemotron 3 Nano 4B NVIDIA	0.0%	—	—	10.1K

101
K2 Horizon 7B
Institute of Foundation Models
1.5%
—
—
—
102
Nemotron 3.5 Lightning

Données de Artificial Analysis

Command Palette

CritPt v2

Distribution des scores

Classement