ThinkingBox transforme les vérifications en récompenses RL
Microsoft et Hugging Face ont publié ThinkingBox-Training, une méthode destinée à entraîner des agents d’entreprise en utilisant les effets réellement observables dans une base de données comme récompense d’apprentissage. La démarche prolonge ThinkingBox-Bench, un ensemble de 507 tâches où un agent reçoit un backend simulé, des outils et un utilisateur artificiel, puis est évalué sur l’état final de la base plutôt que sur la succession d’appels effectués. Les auteurs ont constaté que ces vérifications exécutables, capables de renvoyer un succès si l’état attendu est atteint et un échec sinon, pouvaient aussi servir de signal de récompense pour affiner un modèle sur d’autres tâches. Ils ont construit un pool d’entraînement à partir de 187 tâches hors benchmark. L’enjeu était d’éviter les tâches toujours réussies ou toujours échouées par le modèle, car elles apportent peu d’apprentissage. La difficulté étant relative au modèle utilisé, chaque tâche candidate a été testée plusieurs fois avant l’entraînement, puis classée selon une estimation probabiliste de sa réussite. Seules les tâches susceptibles de produire des résultats contrastés ont été conservées, ce qui permet à l’algorithme de raffinement par groupes de mieux distinguer les bonnes et mauvaises trajectoires. Le modèle Qwen3.8-27B a ensuite été affiné pendant cinquante étapes, avec des sessions isolées, un backend séparé, un utilisateur simulé et des vérifications déterministes de l’état final. Sur ThinkingBox-Bench, jamais utilisé pendant l’entraînement, la réussite moyenne par tentative est passée de 51,70 % à 60,78 %. Surtout, le nombre de tâches réussies lors des vingt tentatives est passé de 38 à 107. En revanche, les tâches résolues au moins une fois ont légèrement reculé, de 453 à 446, traduisant un gain de constance au détriment d’une couverture parfois marginale. Ce résultat est important pour les agents appelés à modifier des données de production. Le benchmark initial montrait déjà qu’un modèle pouvait obtenir une bonne précision moyenne tout en échouant irrégulièrement. Avec ThinkingBox, un modèle 27B initialement moins fiable dépasse désormais plusieurs systèmes sur la réussite répétée, tout en restant derrière Claude Opus 5.5, qui conserve 241 tâches fiables. Les auteurs soulignent que le gain ne vient pas seulement du modèle, mais de la sélection des tâches et de l’évaluation par l’état final de la base. L’évaluation des coûts estime par ailleurs que le coût par tâche fiable pour la campagne de test a chuté de 24,36 dollars à 8,00 dollars. Ces chiffres sont des comparatifs calculés, non des factures, et n’incluent pas l’entraînement. Microsoft et Hugging Face publient le code de sélection, de génération des trajectoires, de récompense et d’intégration, avec des recommandations: tester les tâches avant entraînement, vérifier la cohérence d’interprétation entre entraînement et évaluation, et suivre à la fois la couverture et la répétabilité.
