TaskCraft: Automatisierte Generierung von agentialen Aufgaben

Agentenbezogene Aufgaben, die mehrstufiges Problemlösen mit Autonomie, Werkzeugnutzung und adaptiver Schlussfolgerung erfordern, gewinnen zunehmend an Bedeutung für den Fortschritt der NLP und KI. Bestehende Anweisungsdaten fehlen jedoch an Werkzeuginteraktionen, und aktuelle Agentenbeurteilungen basieren auf kostspieligen menschlichen Annotationen, was ihre Skalierbarkeit einschränkt. Wir stellen \textsc{TaskCraft} vor, einen automatisierten Workflow zur Erstellung von Schwierigkeitsgrad-skalierten, mehrwerkzeugsbasierten und überprüfungs-fähigen agentenbezogenen Aufgaben mit Ausführungsverläufen. TaskCraft erweitert atomare Aufgaben durch tiefen- und breitenbasierte Erweiterungen, um strukturell und hierarchisch komplexe Herausforderungen zu schaffen. Empirische Ergebnisse zeigen, dass diese Aufgaben die Prompt-Optimierung im Generierungsprozess verbessern und das überwachte Feinjustieren von agentenbezogenen Grundmodellen fördern. Wir präsentieren eine groß angelegte synthetische Datensammlung von etwa 36.000 Aufgaben unterschiedlicher Schwierigkeit, um zukünftige Forschung zur Agentenanpassung und -bewertung zu unterstützen.