EnterpriseOps-Gym-AA

ServiceNow의 EnterpriseOps-Gym을 독립적으로 구현한 것으로, LLM 에이전트가 실시간 도구 사용을 통해 8개 비즈니스 도메인에 걸친 상태 기반의 다단계 엔터프라이즈 워크플로를 완수할 수 있는지 시험하며, 기반 데이터베이스의 최종 상태로 채점하는 에이전트 벤치마크입니다.

모델: 23 현재, 51 전체
중앙값: 40.2%
범위: 18.4%–49.6%

점수 분포

가장 낮음: 18.4%
중앙값: 40.2%
최고: 49.6%

리더보드

지원 중단된 모델 포함

순위	모델	점수
1	DeepSeek V4 Pro 0813 (Max) DeepSeek	49.6%
2	Qwen3.8 Max (0902) Alibaba	47.6%
3	Qwen3.8 2.4T A95B Alibaba	47.4%
4	Step 5 Preview StepFun	47.2%
5	DeepSeek V4 Flash Vision (Max) DeepSeek	47.1%
6	Inkling 2 Small Thinking Machines	46.8%
7	Qwen3.8 27B (Xhigh) Alibaba	44.2%
8	Inkling Small Thinking Machines	42.7%
9	Gemini 3.5 Flash-Lite Google	42.3%
10	Gemini 3.1 Pro Preview Google	42.2%
11	Qwen3.7 Plus Alibaba	40.6%
12	Kimi K2.7 Code Kimi	40.2%
13	Inkling (Xhigh) Thinking Machines	38.0%
14	GLM-5.3 (Max) Z AI	36.4%
15	Muse Glimmer (High) Meta	34.7%
16	Mistral Medium 3.5 Mistral	33.7%
17	GLM-5.3-Flash Z AI	33.2%
18	MiniMax-M3 MiniMax	32.1%
19	Qwen3.5 397B A17B (Reasoning) Alibaba	30.9%
20	Nemotron 3 Ultra 550B A55B (Reasoning) NVIDIA	28.9%
21	Gemma 4 31B (Reasoning) Google	28.3%
22	gpt-oss-120b (High) OpenAI	25.5%
23	Nemotron 3.5 Lightning NVIDIA	18.4%

1
DeepSeek V4 Pro 0813 (Max)
DeepSeek
49.6%
2
Qwen3.8 Max (0902)

데이터 출처: Artificial Analysis

Command Palette

EnterpriseOps-Gym-AA

점수 분포

리더보드