SWE-Serve deckt Lücke zwischen Tests und Live-Serving auf

Der kürzlich veröffentlichte Benchmark SWE-Serve adressiert eine kritische Lücke in der Evaluation von KI-Coding-Agents: den signifikanten Unterschied zwischen lokalen Unit-Tests und dem tatsächlichen Verhalten in produktiven Inference-Serving-Umgebungen. Gemeinsam mit dem SGLang-Entwicklerteam konzipiert, überprüft SWE-Serve, ob Codeänderungen an Open-Source-Modell-Servern nicht nur isolierte Prüfungen bestehen, sondern auch im vollständigen Serving-Pfad korrekte Ergebnisse über die öffentliche Schnittstelle liefern. Die Benchmark basiert auf 53 ausführbaren Aufgaben, die aus 83 zusammengeführten Pull Requests des SGLang-Repositorys abgeleitet wurden. Diese decken sechs zentrale Bereiche der Inferenz-Engine-Entwicklung ab, darunter spekulatives Decoding, Modell- und Backend-Enabling, Kernel-Optimierung, Serving-APIs, Caching-Logik sowie verteilte Scheduling-Aufgaben. Die Tests werden auf einer einzelnen NVIDIA H100 oder CPU ausgeführt und bewerten Änderungen, die im Median 553 Codezeilen über mehrere Dateien umfassen. Die Ergebnisse offenbaren eine deutliche Performanzlücke. Während Patches in einer Umgebung ohne Live-Serving-Checks zu 69,4 Prozent bestanden, sank die Erfolgsquote auf 45,9 Prozent, sobald die vollständige Verifier-Logik inklusive echter Serverstarts zum Tragen kam. Das bedeutet, dass etwa ein Drittel der technisch korrekten Patches im realen Serving-Betrieb scheitert. Besonders komplex wird die Aufgabe, wenn Änderungen mehrere Runtime-Domänen wie Requests-Handling, Scheduling und Modell-Execution gleichzeitig betreffen. Hier lag die Erfolgsrate bei 47,7 Prozent, verglichen mit 69,0 Prozent bei einfacheren Aufgaben. Im Rahmen eines abgeschlossenen Evaluierungsraums ohne Internetzugriff testete das Forscherteam elf KI-Modelle auf ihre Fähigkeit, die SWE-Serve-Aufgaben zu lösen. Claude Opus 5max und GPT-5.6 Solmax erzielten mit jeweils 75 Prozent die höchsten Pass-Raten. Es zeigte sich jedoch, dass kein Modell alle sechs Engineering-Kategorien gleichmäßig beherrscht. Zudem korreliert der finanzielle Aufwand nichtlinear mit der Leistung: Bei vier Modellen mit identischer Erfolgsquote von 64 Prozent schwankten die Kosten pro Aufgabe zwischen 0,95 und 7,24 US-Dollar, während die Verarbeitungszeiten von 25,5 bis nahezu 100 Minuten reichten. Die Benchmark-Integrität wurde durch ein rigides Validierungsverfahren gesichert. Von 786 potenziellen Quellen wurden 53 Aufgaben nach strengen Qualitätskriterien zugelassen, wobei unmodifizierte Repositories die Tests initial fehlschlagen mussten, bevor Referenzpatches die vollständigen Verifier bestanden. Alle 1.749 Evaluierungsläufe wurden auditiert und als closed-book geprüft. SWE-Serve wird offen auf GitHub bereitgestellt und bietet Entwicklern sowie der Forschung ein standardisiertes Instrument, um die Robustheit von KI-Coding-Agents unter realen Inference-Bedingungen zu messen und die Kluft zwischen lokaler Entwicklung und produktiver Bereitstellung zu schließen.