L'optimisation des politiques bimodes (BPO) a été proposée conjointement par l'équipe Tencent Hunyuan et l'Académie chinoise des sciences en août 2025. Les résultats de recherche pertinents ont été publiés dans l'article «R-4B : Encourager la capacité d'auto-réflexion à usage général dans les MLLM via le recuit bimode et l'apprentissage renforcé".

BPO est un algorithme d'apprentissage par renforcement conçu pour la pensée automatisée. Contrairement aux méthodes d'apprentissage par renforcement (RL) existantes, qui nécessitent des fonctions de récompense complexes, dépendent fortement des données ou sont sensibles aux hyperparamètres, BPO utilise des récompenses mathématiques simples, basées sur des règles. Cette méthode impose l'inclusion des modes de pensée et de non-pensée, empêchant ainsi le modèle d'être biaisé vers un mode particulier lors de l'apprentissage par RL.