EnterpriseOps-Gym-AA

Eine unabhängige Implementierung von EnterpriseOps-Gym von ServiceNow, eines agentischen Benchmarks, der prüft, ob LLM-Agenten zustandsbehaftete, mehrstufige Unternehmensabläufe in acht Geschäftsbereichen über Live-Tool-Nutzung abschließen können; bewertet wird der Endzustand der zugrunde liegenden Datenbanken.

Modelle: 23 aktuell, 51 insgesamt
Median: 40.2%
Bereich: 18.4%–49.6%

Bewertungsverteilung

Niedrigste: 18.4%
Median: 40.2%
Höchste: 49.6%

Bestenliste

Veraltete Modelle einschließen

Rang	Modell	Ergebnis
1	DeepSeek V4 Pro 0813 (Max) DeepSeek	49.6%
2	Qwen3.8 Max (0902) Alibaba	47.6%
3	Qwen3.8 2.4T A95B Alibaba	47.4%
4	Step 5 Preview StepFun	47.2%
5	DeepSeek V4 Flash Vision (Max) DeepSeek	47.1%
6	Inkling 2 Small Thinking Machines	46.8%
7	Qwen3.8 27B (Xhigh) Alibaba	44.2%
8	Inkling Small Thinking Machines	42.7%
9	Gemini 3.5 Flash-Lite Google	42.3%
10	Gemini 3.1 Pro Preview Google	42.2%
11	Qwen3.7 Plus Alibaba	40.6%
12	Kimi K2.7 Code Kimi	40.2%
13	Inkling (Xhigh) Thinking Machines	38.0%
14	GLM-5.3 (Max) Z AI	36.4%
15	Muse Glimmer (High) Meta	34.7%
16	Mistral Medium 3.5 Mistral	33.7%
17	GLM-5.3-Flash Z AI	33.2%
18	MiniMax-M3 MiniMax	32.1%
19	Qwen3.5 397B A17B (Reasoning) Alibaba	30.9%
20	Nemotron 3 Ultra 550B A55B (Reasoning) NVIDIA	28.9%
21	Gemma 4 31B (Reasoning) Google	28.3%
22	gpt-oss-120b (High) OpenAI	25.5%
23	Nemotron 3.5 Lightning NVIDIA	18.4%

1
DeepSeek V4 Pro 0813 (Max)
DeepSeek
49.6%
2
Qwen3.8 Max (0902)

Daten von Artificial Analysis

Command Palette

EnterpriseOps-Gym-AA

Bewertungsverteilung

Bestenliste