Shuocheng Li Yihao Liu Silin Du Wenxuan Zeng Zhe Xu, et al

Résumé

Les modèles linguistiques à grande échelle (LLM) ont montré un grand potentiel pour automatiser les flux de travail en science des données, mais les modèles existants peinent encore à effectuer des raisonnements multi-étapes et à utiliser efficacement des outils, ce qui limite leur efficacité sur des tâches d’analyse de données complexes. Pour remédier à ce problème, nous proposons une pipeline évolutive qui extrait des tâches d’analyse de données basées sur des outils, ainsi que leurs solutions exécutables en plusieurs étapes, à partir de notebooks Jupyter réels et des fichiers de données associés. Grâce à cette pipeline, nous introduisons NbQA, un grand jeu de données de paires tâche-solution standardisées, reflétant des schémas d’utilisation d’outils authentiques dans des scénarios concrets de science des données. Pour renforcer davantage le raisonnement multi-étapes, nous présentons Jupiter, un cadre qui formule l’analyse de données comme un problème de recherche et applique la recherche arborescente de Monte Carlo (MCTS) afin de générer des trajectoires de solutions diversifiées pour l’apprentissage des modèles de valeur. Lors de l’inférence, Jupiter combine le modèle de valeur et les comptes de visites des nœuds pour collecter efficacement des plans multi-étapes exécutables, avec un nombre minimal d’étapes de recherche. Les résultats expérimentaux montrent que les modèles Qwen2.5-7B et 14B-Instruct, évalués sur NbQA, résolvent respectivement 77,82 % et 86,38 % des tâches sur InfiAgent-DABench, atteignant ou dépassant les performances de GPT-4o et des cadres d’agents avancés. Des évaluations complémentaires démontrent une meilleure généralisation et une capacité renforcée au raisonnement dans l’utilisation d’outils sur diverses tâches complexes de raisonnement multi-étapes.