ServiceNow lance AutoSynthData pour entraîner les agents IA

ServiceNow CoreAI a développé AutoSynthData, une plateforme automatisée conçue pour générer des données d'entraînement ciblées afin d'adapter les agents d'intelligence artificielle aux environnements d'entreprise. Alors que les grands modèles généraux possèdent souvent des capacités étendues, ils échouent fréquemment face aux workflows spécifiques, aux règles métier et aux contraintes techniques propres à une organisation. AutoSynthData transforme ces échecs en opportunités d'apprentissage en créant un curriculum d'entraînement dynamique et adaptatif. Le système fonctionne en analysant les lacunes de performance d'un modèle cible, puis en s'appuyant sur un modèle enseignant plus puissant pour comprendre comment résoudre correctement ces tâches. À partir de cette analyse, AutoSynthData génère des exercices synthétiques qui respectent trois critères essentiels : la faisabilité technique, le réalisme opérationnel et une difficulté calibrée pour exposer les faiblesses actuelles de l'agent. Chaque tâche est structurée autour d'un prompt utilisateur, d'une spécification système et d'un vérificateur qui valide objectivement le succès de l'exécution. La génération des données s'articule autour de deux phases. La première produit un jeu de base de samples validés, tandis que la seconde enrichit ce noyau en variant les états initiaux, les entités et les combinaisons d'outils. Afin de garantir la qualité, chaque candidat subit une vérification positive pour confirmer que la solution de référence atteint bien l'objectif, ainsi qu'une vérification négative pour s'assurer que les états incorrects sont systématiquement rejetés. Les tâches défectueuses sont soumises à un critique automatisé qui diagnostique les erreurs et propose des réparations ciblées, évitant ainsi la régénération systématique. En parallèle, une surveillance au niveau des lots veille à maintenir la diversité et à éviter la sur-représentation de certains patterns. Les équipes de ServiceNow ont évalué cette approche dans l'environnement EnterpriseOps Gym, en se concentrant sur les domaines Hybrid et ITSM. Le modèle cible Gemma-4-26B-A4B-it a été entraîné sur les données synthétiques générées par AutoSynthData, en utilisant respectivement les modèles Qwen3.8-27B et DeepSeek-V4.1-Flash comme enseignants. La génération de près de deux mille échantillons par domaine a nécessité entre dix-huit et soixante-six heures. Les résultats d'évaluation après l'entraînement ont montré des progrès significatifs. Dans le domaine Hybrid, la métrique Pass@1 a augmenté de 7,2 points, soit une amélioration relative de 35 %, tandis que le taux de réussite vérifié passait de 63,01 à 68,55 %. Le système a ainsi comblé 59 % de l'écart de performance initial face au modèle de référence. Sur le domaine ITSM, Pass@1 est passé de 18,77 à 27,18 %, confirmant la transférabilité de la méthode. AutoSynthData démontre que la génération synthétique, lorsqu'elle est strictement validée et guidée par les échecs réels du modèle, constitue un levier efficace pour l'alignement des agents IA sur des environnements professionnels complexes. En traitant la création de données comme une recherche continue aux limites des capacités actuelles, cette approche permet d'ajuster le curriculum à chaque itération et ouvre la voie à des systèmes autonomes véritablement opérationnels en entreprise.