CyberGym-E2E-AA

Une implémentation de CyberGym-E2E du Berkeley RDI, un benchmark de cybersécurité défensive qui évalue les agents sur la recherche de vulnérabilités réelles de sécurité mémoire dans des projets open source C/C++, leur reproduction avec des entrées de preuve de concept et leur correction sans casser les tests des projets.

Modèles: 19 actuel, 25 au total
Médiane: 71.8%
Plage: 0.0%–94.7%

Distribution des scores

Le plus bas: 0.0%
Médiane: 71.8%
Le plus élevé: 94.7%

Classement

Inclure les modèles obsolètes

Rang	Modèle	Score
1	Kimi K3.1 Pro Kimi	94.7%
2	GPT-6 Sol (Daybreak Blue, max) OpenAI	93.1%
3	Mistral Large 4 (High) Mistral	79.4%
4	MiMo-V2.6-Pro Xiaomi	78.6%
5	GPT-6 Luna (Max) OpenAI	77.9%
6	DeepSeek V4.1 Flash 1017 (Max) DeepSeek	76.3%
7	Step 5 Preview StepFun	74.8%
8	GLM-5.3-Flash Z AI	74.0%
9	Grok 4.7 (Xhigh) SpaceXAI	74.0%
10	Mistral Large 4 (Medium) Mistral	71.8%
11	Beam 1.0 Reflection	45.0%
12	GLM-5.3 (Max) Z AI	29.0%
13	MiniMax-M3 MiniMax	24.4%
14	Nemotron 3 Ultra 550B A55B (Reasoning) NVIDIA	10.7%
15	Gemini 3.8 Flash (High) Google	8.4%
16	Claude Opus 5.5 (Max, Default Fallback) Anthropic	0.8%
17	GPT-6 Astra (Max) OpenAI	0.0%
18	Qwen3.8 2.4T A95B Alibaba	0.0%
19	Qwen3.8 27B (Xhigh) Alibaba	0.0%

1
Kimi K3.1 Pro
Kimi
94.7%
2
GPT-6 Sol (Daybreak Blue, max)

Données de Artificial Analysis

Command Palette

CyberGym-E2E-AA

Distribution des scores

Classement