Kaiyan Zhang Yuxin Zuo Bingxiang He Youbang Sun Runze Liu et al

Résumé

Dans cet article, nous passons en revue les avancées récentes de l’apprentissage par renforcement (Reinforcement Learning, RL) pour le raisonnement avec les grands modèles linguistiques (Large Language Models, LLM). Le RL a connu un succès remarquable dans l’expansion des capacités des LLM, notamment dans la résolution de tâches logiques complexes telles que les mathématiques et la programmation. En conséquence, le RL s’est imposé comme une méthodologie fondamentale pour transformer les LLM en modèles de raisonnement (Language Reasoning Models, LRM). Avec l’évolution rapide du domaine, la montée en échelle ultérieure du RL pour les LRMs se heurte désormais à des défis fondamentaux, non seulement en matière de ressources computationnelles, mais aussi en matière de conception d’algorithmes, de données d’entraînement et d’infrastructure. À cet égard, il est opportun de reconsidérer l’évolution de ce domaine, d’en réévaluer la trajectoire et d’explorer des stratégies visant à améliorer la scalabilité du RL vers une intelligence artificielle superintelligente (Artificial SuperIntelligence, ASI). Plus précisément, nous examinons les recherches appliquant le RL aux LLM et aux LRMs pour renforcer leurs capacités de raisonnement, en particulier depuis la publication de DeepSeek-R1, en analysant leurs composantes fondamentales, les problèmes centraux, les ressources d’entraînement et les applications en aval, afin d’identifier les opportunités et les axes futurs pour cette zone en pleine évolution. Nous espérons que cette revue stimulera les recherches futures sur le RL pour des modèles de raisonnement plus généraux.