La communauté de l'apprentissage par renforcement profond a apporté plusieurs améliorations indépendantes à l'algorithme DQN. Cependant, il n'est pas clair lesquelles de ces extensions sont complémentaires et peuvent être combinées avec profit. Cet article examine six extensions de l'algorithme DQN et étudie empiriquement leur combinaison. Nos expériences montrent que cette combinaison offre des performances de pointe sur le benchmark Atari 2600, tant en termes d'efficacité des données que de performance finale. Nous fournissons également les résultats d'une étude d'ablation détaillée qui met en évidence la contribution de chaque composante à la performance globale.