Le raisonnement mathématique est considéré comme une capacité essentielle pour les modèles linguistiques (LM). Des travaux récents démontrent les performances remarquables des grands modèles linguistiques dans la résolution de problèmes mathématiques. Ce succès est attribué à leur capacité de raisonnement en chaîne de pensée (Chain-of-Thought, CoT), c’est-à-dire la capacité à décomposer des questions complexes en chaînes de raisonnement étape par étape, mais cette capacité semble ne se manifester que chez des modèles dotés d’un grand nombre de paramètres. Ce travail explore comment intégrer cette capacité de raisonnement multi-étapes à des modèles linguistiques relativement petits. Nous proposons d’injecter cette capacité en pré-entraînant continuellement les modèles sur un jeu de données synthétiques, MsAT, composé de tâches arithmétiques à plusieurs étapes. Nos expériences menées sur quatre jeux de données de problèmes mathématiques à énoncé montrent l’efficacité de la méthode proposée pour renforcer les capacités de raisonnement mathématique des modèles linguistiques.