FireAct: Der Weg zur Feinabstimmung von Sprach-Agenten

In jüngster Zeit wurden Sprachmodelle (LMs) mit externen Tools oder Umgebungen erweitert, was zur Entwicklung von Sprachagenten führte, die sowohl schließen als auch handeln können. Allerdings beruhen die meisten dieser Agenten auf Few-Shot-Prompting-Techniken mit vorgefertigten LMs. In diesem Paper untersuchen wir und plädieren für eine bisher übersehene Richtung: die Feinabstimmung von LMs, um Sprachagenten zu erhalten. Unter Verwendung einer Aufgabenstellung zum Fragenbeantworten (QA) mit einer Google-Such-API untersuchen wir eine Vielzahl von Basis-LMs, Prompting-Methoden, Feinabstimmungsdatensätzen und QA-Aufgaben und stellen fest, dass Sprachagenten nach der Feinabstimmung ihrer zugrundeliegenden LMs konsistent verbessert werden. Beispielsweise führt die Feinabstimmung von Llama2-7B mit 500 Agenten-Verläufen, die von GPT-4 generiert wurden, zu einer Steigerung der Leistung um 77 % auf dem HotpotQA-Datensatz. Darüber hinaus stellen wir FireAct vor, einen neuartigen Ansatz zur Feinabstimmung von LMs mittels Verläufen aus mehreren Aufgaben und Prompting-Methoden, und zeigen, dass eine größere Vielfalt an Feinabstimmungsdaten die Agentenleistung weiter verbessern kann. In Verbindung mit weiteren Erkenntnissen zu Skalierungseffekten, Robustheit, Generalisierbarkeit, Effizienz und Kosten etabliert unsere Arbeit umfassende Vorteile der Feinabstimmung von LMs für Agenten und liefert eine erste Reihe experimenteller Designs, Erkenntnisse sowie offene Fragen im Bereich der Feinabstimmung von Sprachagenten.