AdaptFlow: Adaptive Workflow-Optimierung mittels Meta-Lernen

Neuere Fortschritte bei großen Sprachmodellen (Large Language Models, LLMs) haben zunehmendes Interesse an agentenbasierten Arbeitsabläufen hervorgerufen, die strukturierte Folgen von LLM-Aufrufen darstellen, die darauf abzielen, komplexe Aufgaben zu lösen. Allerdings beruhen bestehende Ansätze häufig auf statischen Vorlagen oder manuell entworfenen Arbeitsabläufen, was deren Anpassungsfähigkeit an unterschiedliche Aufgaben einschränkt und die Skalierbarkeit beeinträchtigt. Wir stellen AdaptFlow vor, einen auf natürlicher Sprache basierenden Meta-Lernansatz, der sich an der modellunabhängigen Meta-Lernung (Model-Agnostic Meta-Learning, MAML) orientiert. AdaptFlow lernt eine verallgemeinerungsfähige Ausgangsinitialisierung für Arbeitsabläufe, die eine schnelle Anpassung auf Unter-Aufgaben ermöglicht. Es nutzt ein zweistufiges Optimierungsverfahren: Während die innere Schleife den Arbeitsablauf anhand von Feedback, das von LLMs generiert wird, für eine spezifische Unter-Aufgabe verfeinert, aktualisiert die äußere Schleife die gemeinsame Initialisierung, um eine gute Leistung über verschiedene Aufgaben hinweg zu gewährleisten. Diese Architektur ermöglicht es AdaptFlow, effektiv auf bisher unbekannte Aufgaben zu generalisieren, indem es die initialisierte Arbeitsabfolge durch sprachgesteuerte Modifikationen anpasst. Evaluiert an Benchmark-Aufgaben im Bereich Fragebeantwortung, Code-Generierung und mathematische Schlussfolgerung, übertrifft AdaptFlow sowohl manuell entworfene als auch automatisch gesuchte Baselines konsistent und erzielt state-of-the-art-Ergebnisse mit einer starken Generalisierungsfähigkeit über Aufgaben und Modelle hinweg. Der Quellcode und die Daten sind unter dieser URL verfügbar.