带有惩罚点概率距离的策略优化：近端策略优化的一种替代方法

作为信任区域策略优化（Trust Region Policy Optimization, TRPO）最成功的变体和改进，近端策略优化（Proximal Policy Optimization, PPO）因其在数据利用效率、实现简便性和良好的并行性等方面的优势，已在多个领域得到广泛应用。本文提出了一种称为带有惩罚点概率距离的策略优化（Policy Optimization with Penalized Point Probability Distance, POP3D）的一阶梯度强化学习算法，该算法是总方差散度平方的一个下界。首先，我们讨论了几种常用算法的不足之处，这些不足部分地激发了我们的方法。其次，我们通过应用POP3D来克服这些不足。再次，我们从解流形的角度深入探讨了其机制。最后，我们在常见的基准测试中对几种最新的算法进行了定量比较。仿真结果表明，与PPO相比，POP3D具有高度竞争力。此外，我们的代码已发布在https://github.com/paperwithcode/pop3d。