基于最大熵的强化学习通过能量基归一化流实现

现有的连续动作空间最大熵（MaxEnt）强化学习（RL）方法通常基于行为者-评论家框架，并通过交替进行策略评估和策略改进步骤来优化。在策略评估步骤中，评论家被更新以捕捉软Q函数。在策略改进步骤中，行为者根据更新后的软Q函数进行调整。本文介绍了一种新的基于能量基归一化流（EBFlow）的最大熵强化学习框架。该框架整合了策略评估步骤和策略改进步骤，形成了单一目标的训练过程。我们的方法能够在无需蒙特卡洛近似的情况下计算用于策略评估目标的软价值函数。此外，这种设计支持多模态动作分布的建模，同时便于高效的动作采样。为了评估我们方法的性能，我们在MuJoCo基准套件和由Omniverse Isaac Gym模拟的一系列高维机器人任务上进行了实验。评估结果表明，我们的方法相比广泛采用的代表性基线方法具有更优的性能。