ToolOrchestra: Steigerung der Intelligenz durch effiziente Modell- und Werkzeugorchestrierung

Abstract
Große Sprachmodelle sind leistungsfähige Allrounder, doch die Lösung tiefschürfender und komplexer Aufgaben – wie jene im „Humanity’s Last Exam“ (HLE) – bleibt konzeptionell herausfordernd und rechentechnisch kostenaufwändig. Wir zeigen, dass kleine Orchestermodelle, die andere Modelle und eine Vielzahl von Werkzeugen koordinieren, sowohl die obere Grenze der Intelligenz erweitern als auch die Effizienz bei der Bewältigung anspruchsvoller agenter Aufgaben steigern können. Wir stellen ToolOrchestra vor, eine Methode zum Training kleiner Orchestermodelle, die intelligente Werkzeuge koordinieren. ToolOrchestra verwendet explizit Verstärkendes Lernen mit Belohnungen, die auf Ergebnisqualität, Effizienz und Nutzerpräferenzen abgestimmt sind. Mit ToolOrchestra entwickeln wir Orchestrator, ein 8-Billionen-Modell, das eine höhere Genauigkeit bei geringerem Aufwand erreicht als bisherige Werkzeugnutzungs-Agenten und gleichzeitig den Nutzerpräferenzen hinsichtlich der Werkzeugauswahl für eine gegebene Anfrage entspricht. Im HLE erreicht Orchestrator eine Punktzahl von 37,1 %, wodurch es GPT-5 (35,1 %) übertrifft, während es gleichzeitig 2,5-mal effizienter ist. Auf tau2-Bench und FRAMES übertrifft Orchestrator GPT-5 deutlich, wobei nur etwa 30 % der Kosten entstehen. Ausführliche Analysen zeigen, dass Orchestrator das beste Verhältnis zwischen Leistung und Kosten unter mehreren Metriken erzielt und robust auf unbekannte Werkzeuge generalisiert. Diese Ergebnisse belegen, dass die Kombination vielfältiger Werkzeuge mit einem leichtgewichtigen Orchestermodell sowohl effizienter als auch effektiver ist als bestehende Ansätze und eröffnet den Weg für praktikable und skalierbare, werkzeugverstärkte Schlussfolgerungssysteme.
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.