Gemma 4 TFD Agentic Trajectories Jeu de données de trajectoires d'agents en ingénierie logicielle

Aperçu du jeu de données

Gemma 4 Tfd Agentic Trajectories est un jeu de données de trajectoires d'exécution et d'évaluation de référence destiné aux tâches d'ingénierie logicielle par agents. Construit autour du modèle Google Gemma 4, il vise à évaluer les performances de différentes stratégies d'agents dans des tâches de débogage et de correction de code, en enregistrant les processus d'exécution des agents lors de la résolution de problèmes d'ingénierie logicielle ainsi que les retours des tests.

Ce jeu de données est construit à partir de tâches adaptées de SWE-bench Lite. Il contient 50 problèmes d'ingénierie logicielle et fournit des trajectoires d'exécution multi-tours d'agents, des enregistrements d'appels d'outils, des résultats de validation par tests automatisés ainsi que des données d'évaluation de référence pour différentes stratégies d'agents.

Composition du jeu de données

• Trajectoires d'exécution des agents : enregistrements des interactions multi-tours, de l'exécution des tâches et du processus de correction du code lorsque l'agent résout des problèmes d'ingénierie logicielle, présentant les étapes allant de l'identification du problème à la validation de la correction ;
• Enregistrements d'appels d'outils : contiennent les informations sur les appels d'outils effectués pendant l'exécution de l'agent, couvrant des étapes telles que la recherche de code, les opérations sur les fichiers et l'exécution de tests, ce qui permet d'analyser les flux de travail et les stratégies d'exécution de l'agent ;
• Retours de tests et résultats de validation : fournissent des retours de tests unitaires automatisés et des informations de validation, utilisés pour évaluer si les modifications de code satisfont aux exigences de la tâche, ainsi que pour analyser le processus de correction ultérieure effectué par l'agent à partir des résultats des tests ;
• Données d'évaluation de référence : via des fichiers tels que benchmark_summary.csv, elles fournissent les résultats d'évaluation des tâches pour différentes stratégies d'agents, notamment la stratégie ReAct standard et la stratégie pilotée par les retours de tests (TFD-Agent), afin de comparer les taux de résolution des tâches et l'efficacité d'exécution ;
• Ressources d'évaluation et de reproduction : fournissent des fichiers de trajectoires d'agents, des données d'évaluation de référence et des documentations associées, prenant en charge la recherche sur les tâches d'ingénierie logicielle par agents, la comparaison de stratégies et la reproduction d'expériences.