基于模型的强化学习在Atari游戏中的应用

无模型强化学习（RL）可以用于从图像观察中学习复杂任务的有效策略，例如Atari游戏。然而，这通常需要大量的交互——实际上，远超过人类学习相同游戏所需的交互量。人们为何能如此快速地学习？部分原因可能是人类能够理解游戏的运作机制并预测哪些动作会导致理想的结果。在本文中，我们探讨了视频预测模型如何类似地使智能体能够在比无模型方法更少的交互次数下解决Atari游戏。我们描述了一种基于视频预测模型的完整基于模型的深度强化学习算法——模拟策略学习（SimPLe），并比较了几种模型架构，包括一种在我们的设置中取得最佳结果的新颖架构。我们的实验在低数据环境下评估了SimPLe，即智能体与环境之间仅有10万次交互，相当于两小时的实际游戏时间。在大多数Atari游戏中，SimPLe的表现优于最先进的无模型算法，在某些游戏中甚至超过了这些算法一个数量级。