IBM Research hat ScarfBench veröffentlicht, eine neue Open-Source-Benchmark zur Bewertung von KI-Agenten bei der Modernisierung von Enterprise-Java-Anwendungen. Die Initiative adressiert ein zentrales Problem der Softwareentwicklung: Der Framework-Wechsel ist kostspielig und komplex, doch die verlässliche Automatisierung durch KI bleibt ungelöst. Im Gegensatz zu etablierten Benchmarks, die häufig nur die Generierung von Code oder Fehlerkorrekturen messen, bewertet ScarfBench die tatsächliche Funktionstüchtigkeit. Der Fokus liegt auf Migrationen zwischen den großen Java-Ökosystemen Spring, Jakarta EE und Quarkus. Die Anwendung muss nicht nur kompilieren, sondern erfolgreich deployed werden und ihr ursprüngliches Verhalten unter Beweis stellen. Der Benchmark umfasst vierunddreißig Anwendungen mit hundertzwei Framework-Implementierungen und zweihundertvier Migrationsszenarien. Die Evaluation aktueller State-of-the-Art-KI-Agenten zeigt ernüchternde Ergebnisse: Kein Agent erreicht eine Erfolgquote von mehr als zehn Prozent bei der vollständigen Verhaltensvalidierung. Zwar übersteigt die Compile-Erfolgsrate die Deploy- und Verhaltensquote, was auf eine systematische Unterschätzung der Komplexität durch KI-Modelle hindeutet. Zudem neigen die Agenten zu starker Selbstüberschätzung und klassifizieren gescheiterte Builds fälschlich als erfolgreich. Unabhängige Validierungssysteme erweisen sich als unabdingbar. Detaillierte Analysen des Migrationsprozesses offenbaren, dass es sich um einen iterativen Abhängigkeitsauflösungsprozess handelt, nicht um eine lineare Code-Transformation. Konfigurationsdateien und Build-Systeme dominieren den Aufwand, da Framework-Wechsel tiefgreifende Anpassungen bei Dependency Injection, Persistenzschichten und Laufzeitumgebungen erfordern. Häufige Fehlerquellen liegen außerhalb des eigentlichen Quelltexts in Infrastruktur, Testumgebungen und Tooling-Konfigurationen. Die größten Hürden der Modernisierung liegen folglich nicht in der Syntax-Transformation, sondern im Management eines komplexen Netzes aus Konfiguration, Abhängigkeiten und Laufzeitbedingungen. ScarfBench stellt damit einen standardisierten Maßstab bereit, um den Fortschritt autonomer Modernisierungswerkzeuge objektiv zu messen. Die Ressourcen sind öffentlich zugänglich und umfassen ein Datenset, ein interaktives Dashboard, eine Leaderboard-Übersicht sowie die zugrunde liegende Forschungsarbeit. IBM Research ruft Forscher, Entwickler und Framework-Communities auf, ihre KI-Systeme an den Szenarien zu testen und neue Migrationpfade beizutragen. Mit dieser Initiative wird ein entscheidender Schritt hin zu verlässlichen, praxistauglichen Werkzeugen für die Enterprise-Softwaremodernisierung gegangen.