EnterpriseOps-Gym-AA

Une implémentation indépendante d'EnterpriseOps-Gym de ServiceNow, un benchmark agentique qui évalue si les agents LLM peuvent mener à bien des workflows d'entreprise avec état et en plusieurs étapes dans huit domaines métier via l'utilisation d'outils en direct, noté sur l'état final des bases de données sous-jacentes.

Modèles: 23 actuel, 51 au total
Médiane: 40.2%
Plage: 18.4%–49.6%

Distribution des scores

Le plus bas: 18.4%
Médiane: 40.2%
Le plus élevé: 49.6%

Classement

Inclure les modèles obsolètes

Rang	Modèle	Score
1	DeepSeek V4 Pro 0813 (Max) DeepSeek	49.6%
2	Qwen3.8 Max (0902) Alibaba	47.6%
3	Qwen3.8 2.4T A95B Alibaba	47.4%
4	Step 5 Preview StepFun	47.2%
5	DeepSeek V4 Flash Vision (Max) DeepSeek	47.1%
6	Inkling 2 Small Thinking Machines	46.8%
7	Qwen3.8 27B (Xhigh) Alibaba	44.2%
8	Inkling Small Thinking Machines	42.7%
9	Gemini 3.5 Flash-Lite Google	42.3%
10	Gemini 3.1 Pro Preview Google	42.2%
11	Qwen3.7 Plus Alibaba	40.6%
12	Kimi K2.7 Code Kimi	40.2%
13	Inkling (Xhigh) Thinking Machines	38.0%
14	GLM-5.3 (Max) Z AI	36.4%
15	Muse Glimmer (High) Meta	34.7%
16	Mistral Medium 3.5 Mistral	33.7%
17	GLM-5.3-Flash Z AI	33.2%
18	MiniMax-M3 MiniMax	32.1%
19	Qwen3.5 397B A17B (Reasoning) Alibaba	30.9%
20	Nemotron 3 Ultra 550B A55B (Reasoning) NVIDIA	28.9%
21	Gemma 4 31B (Reasoning) Google	28.3%
22	gpt-oss-120b (High) OpenAI	25.5%
23	Nemotron 3.5 Lightning NVIDIA	18.4%

1
DeepSeek V4 Pro 0813 (Max)
DeepSeek
49.6%
2
Qwen3.8 Max (0902)

Données de Artificial Analysis

Command Palette

EnterpriseOps-Gym-AA

Distribution des scores

Classement