L’apprentissage par renforcement s’est imposé comme un paradigme pour le post-entraînement des grands modèles linguistiques, permettant d’améliorer leurs capacités de raisonnement. Ces approches calculent une valeur d’avantage pour chaque échantillon, reflétant une performance meilleure ou pire que prévue, ce qui génère ainsi à la fois des signaux positifs et négatifs pour l’entraînement. Toutefois, le mélange indiscriminé de ces deux types de signaux dans les méthodes existantes, notamment dès les premières étapes, peut entraîner une guidance ambiguë et des gains limités. Pour résoudre ce problème, nous proposons CAPO (Curriculum Advantage Policy Optimization), un mécanisme de curriculum adaptatif fondé sur les signaux d’avantage. Ce mécanisme initie l’apprentissage par imitation à l’aide uniquement d’échantillons à avantage positif afin de construire une base solide, puis introduit progressivement les signaux négatifs pour développer des capacités discriminatives, améliorant ainsi la généralisation dans des scénarios complexes. Compatible avec diverses méthodes d’optimisation, notamment GRPO, PPO, RLOO et Reinforce++, notre approche obtient de manière cohérente des améliorations stables et significatives sur des tâches de raisonnement mathématique, et se généralise efficacement à des scénarios multimodaux de raisonnement sur interfaces graphiques (GUI), s’imposant ainsi comme un cadre d’optimisation polyvalent et robuste.