Ce document propose l'Auto-Apprentissage par Imitation (Self-Imitation Learning, SIL), un algorithme acteur-critique hors-politique simple qui apprend à reproduire les bonnes décisions passées de l'agent. Cet algorithme est conçu pour vérifier notre hypothèse selon laquelle l'exploitation des bonnes expériences passées peut indirectement favoriser une exploration approfondie. Nos résultats empiriques montrent que SIL améliore considérablement l'algorithme d'avantage acteur-critique (Advantage Actor-Critic, A2C) sur plusieurs jeux Atari à exploration difficile et qu'il est compétitif par rapport aux méthodes d'exploration basées sur le comptage de pointe. Nous montrons également que SIL améliore l'optimisation de politique proximale (Proximal Policy Optimization, PPO) sur les tâches MuJoCo.