Effiziente Agenten: Effektive Agenten aufbauend, während Kosten gesenkt werden

Die bemerkenswerten Fähigkeiten von durch große Sprachmodelle (Large Language Models, LLM) angetriebenen Agenten haben es fortschrittlichen Systemen ermöglicht, komplexe, mehrstufige Aufgaben zu bewältigen. Gleichzeitig drohen die steigenden Kosten jedoch die Skalierbarkeit und Zugänglichkeit solcher Systeme zu gefährden. In dieser Arbeit präsentieren wir die erste systematische Studie zum Effizienz-Wirksamkeit-Trade-off in modernen Agentensystemen und adressieren so den kritischen Bedarf an kosteneffizienten Architekturen ohne Leistungseinbußen. Wir untersuchen drei zentrale Fragen: (1) Welches Maß an Komplexität erfordern agente Aufgaben intrinsisch? (2) Wann erzielen zusätzliche Module abnehmende Renditen? (3) Wie groß ist das Effizienzpotenzial durch die Gestaltung effizienter Agentenframeworks? Anhand einer empirischen Analyse am GAIA-Benchmark bewerten wir den Einfluss der Wahl des LLM-Backbones, der Gestaltung von Agentenframeworks sowie von Strategien zur Skalierung zur Testzeit. Unter Verwendung der Metrik „Cost-of-Pass“ quantifizieren wir den Effizienz-Wirksamkeits-Trade-off über diese Dimensionen hinweg. Unsere Ergebnisse legen die Grundlage für die Entwicklung von Efficient Agents, einem neuartigen Agentenframework, das eine optimale Komplexität im Verhältnis zu den Aufgabenanforderungen aufweist. Efficient Agents erreicht 96,7 % der Leistung von OWL, einem führenden Open-Source-Agentenframework, senkt jedoch die Betriebskosten von 0,398 USD auf 0,228 USD und erzielt damit eine Verbesserung des Cost-of-Pass um 28,4 %. Unsere Arbeit liefert praktikable Erkenntnisse für die Gestaltung effizienter, leistungsstarker Agentensysteme und trägt so zur Verbesserung der Zugänglichkeit und Nachhaltigkeit von künstlich-intelligenten Lösungen bei.