Activations rationnelles adaptatives pour améliorer l'apprentissage par renforcement profond

Les dernières avancées en biologie montrent que l’intelligence émerge non seulement des connexions entre neurones, mais aussi que chaque neurone assume une responsabilité computationnelle plus importante qu’on ne le croyait auparavant. Cette perspective revêt une importance cruciale dans le contexte d’environnements d’apprentissage par renforcement en constante évolution, pourtant les approches actuelles reposent encore principalement sur des fonctions d’activation statiques. Dans ce travail, nous justifions pourquoi les fonctions rationnelles sont adaptées aux fonctions d’activation évolutives, et soulignons l’importance de leur intégration dans les réseaux de neurones. Inspirés par la récurrence observée dans les réseaux résiduels, nous établissons une condition sous laquelle les unités rationnelles sont closes sous les connexions résiduelles, et proposons une version naturellement régularisée : le recurrent-rational. Nous démontrons que l’ajout d’activations (récurentes-)rationnelles aux algorithmes populaires entraîne des améliorations constantes sur les jeux Atari, en particulier en transformant le DQN simple en une approche solide, compétitive avec le DDQN et le Rainbow.