Les grands modèles linguistiques ont accompli des progrès significatifs dans diverses tâches linguistiques, mais ils peinent encore face aux mathématiques complexes. Dans cet article, nous proposons ToRA, une série d’agents de raisonnement intégrant des outils, conçus pour résoudre des problèmes mathématiques exigeants en intégrant de manière fluide le raisonnement en langage naturel à l’utilisation d’outils externes (par exemple, des bibliothèques de calcul ou des solveurs symboliques), combinant ainsi la puissance analytique du langage et l’efficacité computationnelle des outils. Pour entraîner ToRA, nous collectons des trajectoires interactives d’utilisation d’outils sur des jeux de données mathématiques, appliquons l’apprentissage par imitation sur les annotations, et proposons une transformation de l’espace de sortie afin d’affiner davantage le comportement de raisonnement des modèles. En conséquence, les modèles ToRA surpassent significativement les modèles open-source sur 10 jeux de données de raisonnement mathématique, quelle que soit l’échelle, avec une amélioration absolue moyenne de 13 % à 19 %. Notamment, ToRA-7B atteint 44,6 % sur le jeu de données de niveau compétitif MATH, dépassant de 22 % l’accuracy du meilleur modèle open-source, WizardMath-70B. ToRA-Code-34B est également le premier modèle open-source à atteindre une précision dépassant 50 % sur MATH, dépassant nettement le résultat de GPT-4 avec une stratégie de raisonnement par chaîne de pensée (CoT), et se montrant compétitif avec GPT-4 lorsqu’il résout des problèmes via des programmes. Enfin, nous menons une analyse approfondie des avantages et des défis persistants liés à l’interaction avec des outils pour le raisonnement mathématique, offrant ainsi des perspectives précieuses pour les recherches futures.