S’appuyant sur les récents succès de l’entraînement distribué des agents de renforcement par apprentissage (RL), nous étudions dans cet article l’entraînement d’agents RL basés sur des réseaux de neurones récurrents (RNN) à partir d’un replay d’expérience prioritaire distribué. Nous analysons les effets du retard des paramètres entraînant un dérive de représentation et une stagnation de l’état récurrent, et dérivons empiriquement une stratégie d’entraînement améliorée. En utilisant une seule architecture de réseau et un ensemble fixe d’hyperparamètres, l’agent obtenu, nommé Recurrent Replay Distributed DQN, quadruple le précédent état de l’art sur Atari-57 et dépasse l’état de l’art sur DMLab-30. Il s’agit du premier agent à dépasser les performances humaines dans 52 des 57 jeux Atari.