Les Raisonnements Mathématiques Améliorent-ils les Capacités Générales des LLM ? Compréhension de la Transférabilité du Raisonnement des LLM

Le raisonnement mathématique est devenu l'emblème des progrès réalisés dans les grands modèles linguistiques (LLMs), avec de nouveaux modèles qui dépassent rapidement les performances humaines sur des benchmarks tels que MATH et AIME. Cependant, alors que les classements en mathématiques s'améliorent semaine après semaine, il est important de se poser la question : ces gains reflètent-ils une capacité plus large à résoudre des problèmes ou ne sont-ils que le résultat d'un surajustement étroit ? Pour répondre à cette question, nous évaluons plus de 20 modèles à poids ouverts, ajustés pour le raisonnement, sur un large éventail de tâches, incluant les mathématiques, les questions scientifiques, la planification d'agents, la programmation et le suivi d'instructions standard. Nous constatons avec surprise que la plupart des modèles qui réussissent en mathématiques échouent à transférer leurs acquis à d'autres domaines. Pour étudier rigoureusement ce phénomène, nous menons des expériences contrôlées sur les modèles Qwen3-14B en utilisant uniquement des données mathématiques mais différentes méthodes d'ajustement. Nous découvrons que les modèles ajustés par apprentissage par renforcement (RL) généralisent bien sur différents domaines, tandis que ceux ajustés par fine-tuning supervisé (SFT) oublient souvent leurs capacités générales. Les analyses de représentation dans l'espace latent et de décalage dans l'espace des tokens révèlent que le SFT induit une dérive substantielle des représentations et des sorties, tandis que le RL préserve la structure du domaine général. Nos résultats suggèrent qu'il est nécessaire de reconsidérer les recettes standards post-formation, en particulier la dépendance aux données distillées par SFT pour améliorer les modèles de raisonnement.