我々は、正則化されたポリシー最適化とモデル学習を補助損失として組み合わせた新たなポリシー更新手法を提案する。この更新手法（以降、Muesliと呼ぶ）は、AtariゲームにおいてMuZeroと同等の最先端性能を達成する。特に注目すべきは、深層探索を用いずに、ポリシーネットワークを直接用いて行動を行う点であり、モデルフリーなベースラインと同等の計算速度を実現していることである。Atariにおける成果は、広範なアブレーション実験および連続制御タスク、9×9ゴーにおける追加結果によって裏付けられている。