自适应理性激活函数以提升深度强化学习

最新的生物学研究揭示，智力不仅源于神经元之间的连接，而且单个神经元所承担的计算职责远超以往预期。这一观点在不断变化的多样化强化学习环境中尤为重要，然而当前主流方法仍主要依赖静态激活函数。本文旨在阐明为何有理函数（rationals）适用于可适应的激活函数，并强调将其引入神经网络的必要性。受残差网络中循环结构的启发，我们推导出有理单元在残差连接下保持封闭的条件，并进一步提出一种自然正则化的变体——循环有理单元（recurrent-rational）。实验表明，将（循环）有理激活函数应用于主流强化学习算法，可在Atari游戏任务上持续提升性能，尤其能够显著增强简单DQN算法的表现，使其达到与DDQN和Rainbow等先进方法相媲美的水平。