HyperAIHyperAI

Command Palette

Search for a command to run...

vor 13 Tagen

LoopTool: Schließen der Datenausbildungsschleife für robuste LLM-Toolaufrufe

Kangning Zhang Wenxiang Jiao Kounianhua Du Yuan Lu Weiwen Liu Weinan Zhang Lei Zhang Yong Yu

LoopTool: Schließen der Datenausbildungsschleife für robuste LLM-Toolaufrufe

Abstract

Die Erweiterung großer Sprachmodelle (LLMs) um externe Tools ermöglicht es diesen, komplexe, mehrstufige Aufgaben zu bewältigen. Allerdings wird das Werkzeug-Lernen durch statische, synthetische Datenspulen behindert, bei denen die Datenerzeugung und das Modelltraining als zwei voneinander getrennte, nicht interaktive Prozesse ablaufen. Dieser Ansatz kann die spezifischen Schwächen des Modells nicht adaptiv berücksichtigen und lässt Rauschlabels bestehen, was die Effizienz des Trainings beeinträchtigt. Wir stellen LoopTool vor, einen vollautomatisierten, modellbewussten Framework zur evolutionären Datenanpassung, der diese Lücke schließt, indem er die Datensynthese und das Modelltraining eng integriert. LoopTool verfeinert iterativ sowohl die Daten als auch das Modell über drei synergistische Module: (1) Gierige Fähigkeitsdiagnose (GCP), die die vom Modell beherrschten und fehlgeschlagenen Fähigkeiten identifiziert; (2) Urteilsgeleitete Label-Überprüfung (JGLV), die ein Open-Source-Judge-Modell nutzt, um Anmerkungsfehler zu erkennen und zu korrigieren, wodurch die Datensammlung schrittweise gereinigt wird; und (3) fehlergetriebene Datenerweiterung (EDDE), die neue, anspruchsvolle Beispiele auf Basis identifizierter Fehler generiert. Dieser geschlossene Schleifenprozess läuft in einer kosteneffizienten, Open-Source-Ökologie ab und entlastet die Abhängigkeit von teuren, proprietären APIs. Experimente zeigen, dass unser 8-Billionen-Modell, das mit LoopTool trainiert wurde, sowohl sein 32-Billionen-Modell als Daten-Generator deutlich übertrifft und neue SOTA-Ergebnisse auf den Benchmarks BFCL-v3 und ACEBench für seine Modellgröße erreicht. Unsere Arbeit zeigt, dass geschlossene, selbstverbessernde Datenpipelines das Werkzeugnutzungsvermögen von LLMs erheblich steigern können.

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
LoopTool: Schließen der Datenausbildungsschleife für robuste LLM-Toolaufrufe | Forschungsarbeiten | HyperAI