GDPval-AA v2.1

GDPval-AA v2.1 ist ein Evaluierungsframework für den GDPval-Datensatz von OpenAI. Es prüft KI-Modelle an realen Aufgaben aus 44 Berufen und 9 großen Branchen. Modelle erhalten Shell-Zugriff und Webbrowsing-Fähigkeiten in einer agentischen Schleife über Stirrup, um Aufgaben zu lösen; die Elo-Bewertungen stammen aus blinden paarweisen Vergleichen.

Modelle: 172 aktuell, 315 insgesamt
Median: 1109
Bereich: -402–1866

Bewertungsverteilung

Niedrigste: -402
Median: 1109
Höchste: 1866

Bestenliste

Veraltete Modelle einschließen

Rang	Modell	Ergebnis
1	Claude Opus 5.5 (Max, Default Fallback) Anthropic	1866
2	Kimi K3.1 Pro Kimi	1861
3	Muse Wonder Full (Max) Meta	1857
4	Claude Sonnet 5.5 (Max, Default Fallback) Anthropic	1838
5	Claude Opus 5.5 (Xhigh, Default Fallback) Anthropic	1835
6	Claude Fable 5.2 (Max, Default Fallback) Anthropic	1831
7	Muse Wonder (Max) Meta	1770
8	Claude Fable 5.2 (Xhigh, Default Fallback) Anthropic	1751
9	DeepSeek V4.1 Flash 1017 (Max) DeepSeek	1746
10	Claude Sonnet 5.5 (Xhigh, Default Fallback) Anthropic	1735
11	Gemini 4 Carbon (High) Google	1733
12	Claude Fable 5.2 (High, Default Fallback) Anthropic	1718
13	Grok 4.7 (Xhigh) SpaceXAI	1717
14	Grok 4.7 (High) SpaceXAI	1716
15	Claude Opus 5.5 (High, Default Fallback) Anthropic	1714
16	MiMo-V2.6-Pro Xiaomi	1692
17	Qwen3.8 Max (0902) Alibaba	1674
18	GLM-5.3 (Max) Z AI	1657
19	Ling 3.1 Flash 1019 InclusionAI	1653
20	GLM-5.3-Flash Z AI	1649
21	Qwen3.8-Flash-Next Alibaba	1636
22	Gemini 4 Argon (High) Google	1633
23	Inkling 2 Small Thinking Machines	1630
24	Claude Haiku 5.5 (Max) Anthropic	1629
25	Ling 3.1 Flash InclusionAI	1626
26	Qwen3.8 2.4T A95B Alibaba	1616
27	MiMo-V2.6-Flash Xiaomi	1614
28	GPT-6.1 Sol (Max) OpenAI	1608
29	Claude Opus 5.5 (Medium, Default Fallback) Anthropic	1593
30	Step 5 Preview StepFun	1592
31	Grok 4.7 (Low) SpaceXAI	1591
32	Claude Fable 5.2 (Medium, Default Fallback) Anthropic	1591
33	GPT-6 Astra (Max) OpenAI	1586
34	GPT-6 Astra (Xhigh) OpenAI	1569
35	Claude Sonnet 5.5 (High, Default Fallback) Anthropic	1557
36	GPT-6.1 Sol (Xhigh) OpenAI	1555
37	DeepSeek V4 Flash Vision (Max) DeepSeek	1554
38	Claude Fable 5.2 (Low, Default Fallback) Anthropic	1546
39	GPT-6 Astra (High) OpenAI	1536
40	Claude Haiku 5.5 (Xhigh) Anthropic	1522
41	GPT-6.1 Sol (High) OpenAI	1520
42	Agnes 2.5 Pro Theta Sapiens AI	1507
43	GPT-6 Astra (Medium) OpenAI	1498
44	GPT-6.1 Terra (Max) OpenAI	1476
45	MiniMax-M3.1-Flash MiniMax	1465
46	GPT-6.1 Sol (Medium) OpenAI	1459
47	DeepSeek V4 Pro 0813 (Max) DeepSeek	1457
48	Gemini 3.8 Flash (High) Google	1445
49	GPT-6 Luna (Max) OpenAI	1444
50	Gemini 3.8 Flash (Medium) Google	1431

1
Claude Opus 5.5 (Max, Default Fallback)
Anthropic
1866
2
Kimi K3.1 Pro

Daten von Artificial Analysis

Command Palette

GDPval-AA v2.1

Bewertungsverteilung

Bestenliste