CWE-Bench-AA

Eine Implementierung des CWE-bench von Collinear AI, eines defensiven Cybersicherheits-Benchmarks, der prüft, ob Coding-Agenten eine echte Open-Source-Codebasis auditieren, eine Schwachstelle in einem beschriebenen Problembereich finden und sie patchen können, ohne legitimes Verhalten zu beeinträchtigen.

Modelle: 19 aktuell, 25 insgesamt
Median: 55.8%
Bereich: 26.7%–69.2%

Bewertungsverteilung

Niedrigste: 26.7%
Median: 55.8%
Höchste: 69.2%

Bestenliste

Veraltete Modelle einschließen

Rang	Modell	Ergebnis
1	DeepSeek V4.1 Flash 1017 (Max) DeepSeek	69.2%
2	Grok 4.7 (Xhigh) SpaceXAI	68.3%
3	GPT-6 Sol (Daybreak Blue, max) OpenAI	64.7%
4	GPT-6 Astra (Max) OpenAI	63.3%
5	MiMo-V2.6-Pro Xiaomi	63.3%
6	Kimi K3.1 Pro Kimi	60.8%
7	Claude Opus 5.5 (Max, Default Fallback) Anthropic	58.3%
8	Mistral Large 4 (High) Mistral	58.3%
9	GPT-6 Luna (Max) OpenAI	56.7%
10	GLM-5.3 (Max) Z AI	55.8%
11	GLM-5.3-Flash Z AI	55.8%
12	Gemini 3.8 Flash (High) Google	52.5%
13	Step 5 Preview StepFun	52.5%
14	Mistral Large 4 (Medium) Mistral	50.0%
15	Beam 1.0 Reflection	49.2%
16	MiniMax-M3 MiniMax	41.7%
17	Qwen3.8 2.4T A95B Alibaba	28.3%
18	Nemotron 3 Ultra 550B A55B (Reasoning) NVIDIA	27.5%
19	Qwen3.8 27B (Xhigh) Alibaba	26.7%

1
DeepSeek V4.1 Flash 1017 (Max)
DeepSeek
69.2%
2
Grok 4.7 (Xhigh)

Daten von Artificial Analysis

Command Palette

CWE-Bench-AA

Bewertungsverteilung

Bestenliste