HyperAIHyperAI

Command Palette

Search for a command to run...

Fable 5 besiegt GPT-5.6 Sol bei NP-schwerer Optimierung

Ein aktueller Benchmark-Vergleich der Forschungsplattform CLIArena untersucht die Leistungsfähigkeit moderner KI-Modelle bei komplexen operations-research-Problemen. Der Test konzentrierte sich auf das NP-schwere KIRO-Netzwerkdesign für Glasfaserkabel, bei dem die Gesamtkabelänge unter strikten strukturellen Randbedingungen minimiert werden muss. Im direkten Vergleich traten das Claude Fable 5 und das GPT-5.6 Sol an. Die Experimente wurden mit und ohne Aktivierung der jeweiligen nativen /goal-Funktion durchgeführt, um den Einfluss persistenter Zielvorgaben auf Suchalgorithmen und Lösungsqualität zu isolieren. Die Ergebnisse belegen eine klare Dominanz von Fable 5. Das Modell erreichte nicht nur die beste einzelne Lösungsqualität, sondern wies auch eine bemerkenswert hohe Stabilität bei repetitiven Läufen auf. Im Vergleich dazu zeigte GPT-5.6 Sol eine deutlich höhere Varianz. Bemerkenswert ist jedoch der Effekt der /goal-Funktion: Obwohl sie in vier von sechs direkten Paarungen den Sieg entschied, verschlechterte sie gleichzeitig den durchschnittlichen Lösungsstandard beider Modelle. Die Analyse offenbart, dass die /goal-Funktion kein universeller Leistungsbeschleuniger ist. Sie verändert fundamental die Kontrollschleife und den Suchpfad der KI-Agenten. In stabilen Konvergenzfällen unterstützt sie die Lösung durch verlängerte Laufzeiten. Sobald das Modell jedoch in suboptimale Lösungslandschaften gerät, verzögert die Funktion lediglich ineffiziente Iterationen und treibt die Gesamtkosten in die Höhe. Der Median der Ergebnisse verbesserte sich leicht, während die schlechten Ausreißer die Durchschnittswerte nach oben zogen. Technisch unterscheiden sich die Implementierungen der Zielvorgaben deutlich. Bei Anthropics Claude Code agiert /goal als session-scoped Evaluator, der auf Konversationsverläufen basiert und ohne direkten Datei- oder Toolzugriff entscheidet. OpenAI’s Codex speichert das Ziel hingegen als persistierenden Thread-Status und nutzt eine toolbasierte Architektur, die dem Modell direkten Zugriff auf Arbeitsdateien und Ausführungsumgebungen gewährt. Diese architektonischen Unterschiede beeinflussen maßgeblich, wie die Modelle auf Optimierungsdruck reagieren. Der Test deckt die Grenzen aktueller Agenten-Orchestrierung bei kombinatorischen Optimierungsproblemen auf. Die Qualität des initialen Lösungsentwurfs erweist sich als entscheidender Faktor als die reine Laufzeitverlängerung. Die vollständige Methodik, Rohdaten und Reproduktionsskripte sind im CLIArena-Repository zugänglich. Für Unternehmen, die KI-gestützte Planungstools für kritische Infrastrukturen evaluieren, liefert die Studie eine wichtige Erkenntnis: Persistente Zielmodule ohne adaptive Konvergenzprüfungen können die Gesamteffizienz in der Praxis mindern. Die Forschung betont die Notwendigkeit feiner abgestimmter Kontrollmechanismen, bevor solche Features in Produktionssysteme übernommen werden.

Verwandte Links