OpenAI hat eine umfassende Überprüfung des weit verbreiteten Coding-Benchmarks SWE-bench Pro durchgeführt und dabei gravierende Mängel in der Aufgabenkonfiguration aufgedeckt. Aufgrund der Ergebnisse widerruft das Unternehmen die zuvor ausgesprochene Empfehlung, SWE-bench Pro als Standard zur Messung agenter Coding-Kompetenzen zu nutzen. Die Evaluation von Sprachmodellen auf Softwareentwicklungs-Fähigkeiten ist zentral für die Sicherheit und den kontrollierten Einsatz von KI-Systemen, insbesondere im Rahmen von OpenAIs Preparedness Framework. Bisher hatte SWE-bench Pro als Nachfolger des ebenfalls als fehlerhaft eingestuften SWE-bench Verified gegolten, da es realitätsnähere Aufgaben und längere Lösungshorizonte bot. OpenAI führte nun eine datenpunktbasierte Auditschleife durch, die einen automatisierten Filter mit einer parallelen manuellen Prüfung durch fünf erfahrene Softwareentwickler kombinierte. Das Ergebnis der Untersuchung ist eindeutig: Rund dreißig Prozent der Aufgaben im öffentlichen Teil des Benchmarks weisen fundamentale Defekte auf. Zu den identifizierten Problemen gehören unklare Spezifikationen, übermäßige Strenge der Unit-Tests und Kontaminationsrisiken. Der automatisierte Prüfprozess hatte zunächst 286 verdächtige Fälle markiert, die darauffolgenden vertieften Analysen bestätigten jedoch ein weit verbreitetes Muster. Die menschlichen Gutachter klassifizierten Aufgaben in über siebzig Prozent der Fälle konsistent mit der automatischen Pipeline, zeigten sich jedoch bei der Identifizierung spezifischer Fehlerarten, insbesondere bei unzureichender Testabdeckung, sensibler und erfassten häufiger Mehrfachdefekte als die rein algorithmischen Agenten. Die Fundamente dieser Benchmark-Probleme liegen in der ursprünglichen Entstehung der Datenquelle. Da viele Aufgaben programatisch aus historischen Fehlerberichten und Pull-Requests öffentlicher Repositories extrahiert werden, sind die ursprünglichen Testfälle oft auf die Validierung einer spezifischen Codeänderung zugeschnitten und erfüllen nicht die Anforderungen einer neutralen, modellagnostischen Bewertungsgrundlage. Diese strukturelle Lücke unterstreicht die Notwendigkeit rigoroser Datenqualitätskontrollen vor der Einführung neuer Benchmarks. Infolge der Prüfungsergebnisse widerrft OpenAI die frühere Empfehlung zu SWE-bench Pro und weist darauf hin, dass fehlerhafte Evaluierungen sowohl die Einschätzung tatsächlicher Modellfähigkeiten verfälschen als auch Fehlentscheidungen bei Sicherheits- und Deployment-Freigaben begünstigen könnten. Das Unternehmen betont, dass der zunehmende Einsatz von KI-Agenten zur parallelen Datenprüfung ein vielversprechender Ansatz ist, um qualitative Mängel in großem Umfang aufzuspüren, der menschlichen Expertise jedoch weiterhin eine Schlüsselrolle bei der finalen Validierung zukommt. Mit Blick auf die Zukunft der KI-Bewertung fordert OpenAI die technische Community auf, neue Benchmark-Strukturen zu entwickeln, die von erfahrenen Softwareentwicklern mit durchgängiger menschlicher Aufsicht konzipiert werden. Nur so ließe sich der erforderliche Realitätsbezug beibehalten und gleichzeitig gewährleisten, dass Benchmarks eine robuste, schwer zu manipulierende Messlatte für Sicherheitsentscheidungen und Forschungsprioritäten darstellen. Die aktuelle Korrektur dient als Warnsignal und Praxisbeispiel für die wachsende Komplexität valider KI-Evaluationen.