Gemma 4 TFD Agentic Trajectories – Datensatz zu agentischen Software-Engineering-Trajektorien

Überblick über den Datensatz

Gemma 4 Tfd Agentic Trajectories ist ein Datensatz mit Ausführungstrajektorien und Benchmark-Bewertungen für agentische Software-Engineering-Aufgaben. Er wurde um das Google-Gemma-4-Modell herum aufgebaut und zielt darauf ab, die Leistung verschiedener Agentenstrategien bei Debugging- und Reparatur-Aufgaben zu bewerten, indem er die Ausführungsprozesse und Testrückmeldungen von Agenten bei der Lösung von Software-Engineering-Problemen aufzeichnet.

Der Datensatz basiert auf Aufgaben, die von SWE-bench Lite adaptiert wurden, enthält 50 Software-Engineering-Probleme und stellt mehrstufige Agentenausführungstrajektorien, Aufzeichnungen von Tool-Aufrufen, Ergebnisse der automatisierten Testvalidierung sowie Benchmark-Bewertungsdaten für verschiedene Agentenstrategien bereit.

Zusammensetzung des Datensatzes

• Agentenausführungstrajektorien: Sie zeichnen mehrstufige Interaktionen, die Taskausführung und den Code-Reparaturprozess von Agenten bei der Lösung von Software-Engineering-Problemen auf und zeigen die Ausführungsschritte von der Problemlokalisierung bis zur Reparaturvalidierung;
• Aufzeichnungen von Tool-Aufrufen: Sie enthalten Informationen zu Tool-Aufrufen während der Agentenausführung, darunter Schritte wie Codesuche, Dateioperationen und Testausführung, und können zur Analyse der Arbeitsabläufe und Ausführungsstrategien von Agenten verwendet werden;
• Testrückmeldungen und Validierungsergebnisse: Sie stellen automatisierte Unit-Test-Rückmeldungen und Validierungsinformationen bereit, um zu bewerten, ob Codeänderungen die Anforderungen der Aufgabe erfüllen, sowie den Prozess, in dem der Agent auf Basis der Testergebnisse nachträgliche Korrekturen vornimmt;
• Benchmark-Bewertungsdaten: Über Dateien wie benchmark_summary.csv werden Task-Bewertungsergebnisse für verschiedene Agentenstrategien bereitgestellt, darunter die Standard-ReAct-Strategie und die testrückmeldungsgetriebene Strategie (TFD-Agent), um die Erfolgsquoten bei der Problemlösung und die Ausführungseffizienz zu vergleichen;
• Bewertungs- und Reproduktionsressourcen: Sie stellen Agenten-Trajektorien-Dateien, Benchmark-Bewertungsdaten und zugehörige Dokumentation bereit und unterstützen die Erforschung von Software-Engineering-Aufgaben für Agenten, Strategie-Vergleiche und die Reproduktion von Experimenten.