Nous proposons une nouvelle mise à jour de politique qui combine l’optimisation régularisée de la politique avec l’apprentissage de modèle, utilisé comme perte auxiliaire. Cette mise à jour (désormais désignée Muesli) atteint des performances de pointe comparables à celles de MuZero sur Atari. Notamment, Muesli y parvient sans recourir à une recherche profonde : elle agit directement via un réseau de politique et présente une vitesse de calcul comparable aux méthodes sans modèle. Les résultats sur Atari sont complétés par des ablations étendues, ainsi que par des résultats supplémentaires sur des tâches de contrôle continu et sur Go 9×9.