ITBench-AA

Une implémentation du benchmark ITBench d'IBM, qui évalue les agents d'IA sur l'analyse de la cause racine d'incidents Kubernetes à partir d'instantanés d'incidents hors ligne. L'agent examine les alertes, événements, traces et la topologie, puis identifie les entités contributrices (déploiements, pods, namespaces, politiques réseau, etc.) responsables de la défaillance.

Modèles: 14 actuel, 45 au total
Médiane: 39.2%
Plage: 0.6%–55.6%

Distribution des scores

Le plus bas: 0.6%
Médiane: 39.2%
Le plus élevé: 55.6%

Classement

Inclure les modèles obsolètes

Rang	Modèle	Score
1	Step 5 Preview StepFun	55.6%
2	Gemini 3.8 Flash (High) Google	52.5%
3	GLM-5.3-Flash Z AI	51.2%
4	GPT-6 Astra (Max) OpenAI	48.6%
5	GLM-5.3 (Max) Z AI	46.1%
6	Grok 4.7 (Xhigh) SpaceXAI	42.1%
7	Qwen3.8 Max (0902) Alibaba	40.3%
8	Claude Opus 5.5 (Max, Default Fallback) Anthropic	38.2%
9	Gemma 4 31B (Reasoning) Google	37.3%
10	Qwen3.5 397B A17B (Reasoning) Alibaba	34.1%
11	Gemini 3.1 Pro Preview Google	30.3%
12	Gemma 4 26B A4B (Reasoning) Google	23.6%
13	gpt-oss-120b (High) OpenAI	5.6%
14	Llama 3.3 Instruct 70B Meta	0.6%

1
Step 5 Preview
StepFun
55.6%
2
Gemini 3.8 Flash (High)

Données de Artificial Analysis

Command Palette

ITBench-AA

Distribution des scores

Classement