SwissNYF: Werkzeugbasierte LLM-Agenten für Black-Box-Umgebungen

Obwohl große Sprachmodelle (Large Language Models, LLMs) erhebliche Fortschritte bei der Funktionsaufruf-Fähigkeit gezeigt haben, basieren diese Verbesserungen vor allem auf dem Zugriff auf die Antworten der Funktionen. Diese Herangehensweise ist für einfachere APIs praktikabel, stößt jedoch bei irreversiblen APIs, die erhebliche Auswirkungen auf das System haben – beispielsweise eine API zum Löschen von Datenbanken – auf Skalierbarkeitsprobleme. Ebenso ergeben sich komplexe Herausforderungen bei Prozessen, die für jeden API-Aufruf erhebliche Zeit benötigen, oder bei Aufgaben, die eine vorausschauende Planung erfordern, wie etwa automatisierte Aktionsschlangen. Darüber hinaus treten häufig Szenarien auf, in denen eine verallgemeinerte Herangehensweise erforderlich ist, da Algorithmen keinen direkten Zugriff auf die spezifischen Implementierungen dieser Funktionen oder auf geheime Schlüssel zur Nutzung dieser Funktionen haben. Traditionelle Werkzeugplanungsansätze sind in solchen Fällen unzureichend, was die Notwendigkeit einer Arbeit in black-box-Umgebungen erzwingt. Im Gegensatz zu ihrer Leistung bei der Manipulation von Werkzeugen, erweisen sich LLMs in black-box-Aufgaben – beispielsweise bei der Programm-Synthese – als besonders stark. Daher nutzen wir die Fähigkeit von LLMs zur Programm-Synthese, um in black-box-Umgebungen strategisch die Nutzung von Werkzeugen zu planen, wobei Lösungen vor der Implementierung verifiziert werden. Wir stellen TOPGUN vor, eine geschickt konzipierte Methode, die die Programm-Synthese zur Planung von Werkzeugen in black-box-Umgebungen nutzt. Unterstützt durch SwissNYF, eine umfassende Werkzeugsuite, die black-box-Algorithmen für Planungs- und Verifikationsaufgaben integriert, adressiert diese Lösung die oben genannten Herausforderungen und erhöht die Vielseitigkeit und Effektivität von LLMs bei komplexen API-Interaktionen. Der öffentliche Code für SwissNYF ist unter https://github.com/iclr-dummy-user/SwissNYF verfügbar.