GPQA Diamond

Die 198 anspruchsvollsten Fragen aus GPQA, bei denen promovierte Fachleute 65 % Genauigkeit erreichen, fähige Nicht-Fachleute jedoch trotz Webzugang nur 34 %.

Modelle: 205 aktuell, 617 insgesamt
Median: 71.3%
Bereich: 11.1%–96.3%

Bewertungsverteilung

Niedrigste: 11.1%
Median: 71.3%
Höchste: 96.3%

Bestenliste

Veraltete Modelle einschließen

Rang	Modell	Ergebnis
201	Molmo 7B-D Allen Institute for AI	24.0%
202	Qwen3.5 0.8B (Non-reasoning) Alibaba	23.6%
203	Gemma 3 270M Google	22.4%
204	Llama 3.2 Instruct 11B (Vision) Meta	22.1%
205	Qwen3.5 0.8B (Reasoning) Alibaba	11.1%