Nemotron Terminal Synthetic Tasks est un dataset publié par NVIDIA en 2026, dédié à l'évaluation et à l'entraînement des compétences des agents autonomes dans des environnements Linux réels en ligne de commande. Il comprend des tâches synthétiques basées sur les compétences, visant à améliorer la capacité de raisonnement et d'exécution des agents dans des interactions complexes en ligne de commande.

Composition du dataset

Chaque tâche du dataset est stockée dans un répertoire séparé, adoptant une organisation structurée des tâches. Elle comprend principalement les trois composants suivants :

• Instruction : décrite en langage naturel via le fichier instruction.md, elle précise les objectifs de la tâche, les exigences spécifiques, les chemins de fichiers et les contraintes, guidant l'agent dans l'accomplissement de la tâche spécifiée.
• Contexte environnemental (Environment Context) : utilise un environnement Docker standardisé, offrant 9 images pré-construites spécifiques à des domaines, couvrant des scénarios tels que la science des données et la sécurité. Les agents exécutent les tâches dans des conteneurs isolés et des sessions tmux, en partageant une image de base pour réduire les coûts de ressources.
• Suite de vérification (Verification Suite) : vérifie l'accomplissement des tâches via le script tests/test.sh et des mécanismes de validation programmatique tels que pytest. La vérification inclut le code de retour, l'existence des fichiers de sortie, la conformité du format des fichiers et l'exactitude des résultats numériques.