Wir schlagen eine neuartige Politikaktualisierung vor, die die regularisierte Politikoptimierung mit dem Modelllernen als zusätzliche Verlustfunktion kombiniert. Die Aktualisierung (im Folgenden Muesli genannt) erreicht auf Atari die state-of-the-art-Leistung von MuZero. Insbesondere gelingt dies ohne den Einsatz tiefer Suchverfahren: Muesli agiert direkt über ein Politiknetzwerk und weist eine Rechenzeit vergleichbar mit modellfreien Baselines auf. Die Ergebnisse auf Atari werden durch umfangreiche Ablationsstudien sowie zusätzliche Ergebnisse im Bereich kontinuierlicher Steuerung und 9×9 Go ergänzt.