Junkang Wu Kexin Huang Jiancan Wu An Zhang Xiang Wang Xiangnan He

Résumé

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) renforce le raisonnement des grands modèles linguistiques (LLM), mais son entraînement présente souvent des oscillations entre {effondrement de l'entropie} et {explosion de l'entropie}. Nous identifions ces deux risques à la base moyenne utilisée dans les méthodes d'apprentissage par renforcement sans valeur (par exemple, GRPO et DAPO), qui pénalise de manière inappropriée les échantillons présentant un avantage négatif en présence de valeurs aberrantes dans les récompenses. Nous proposons une méthode appelée {Estimation par quantiles de l'avantage} (QAE), qui remplace la moyenne par une base de quantiles par groupe, basée sur le K-ième quantile. QAE introduit une porte à deux régimes au niveau de la réponse : sur les questions difficiles (p ≤ 1 – K), elle renforce les succès rares, tandis que sur les questions faciles (p > 1 – K), elle cible les échecs persistants. Sous des mises à jour de type softmax du premier ordre, nous prouvons une {sécurité à deux côtés de l'entropie}, en établissant des bornes inférieures et supérieures sur la variation de l'entropie en une étape, ce qui limite l'explosion et prévient l'effondrement. Expérimentalement, cette modification minimale stabilise l'entropie, rend plus parcimonieuse l'affectation des crédits (avec un choix optimal de K, environ 80 % des réponses reçoivent un avantage nul), et permet d'obtenir des gains durables sur le score pass@1 pour Qwen3-8B/14B-Base sur les épreuves AIME 2024/2025 et AMC 2023. Ces résultats mettent en évidence que la conception de la base — plutôt que des heuristiques au niveau des tokens — constitue le mécanisme principal pour l'échelle de l'RLVR.