Nous proposons un nouvel algorithme, Mean Actor-Critic (MAC), pour l'apprentissage par renforcement avec des actions discrètes et des états continus. MAC est un algorithme de gradient de politique qui utilise la représentation explicite de toutes les valeurs d'action de l'agent pour estimer le gradient de la politique, plutôt que d'utiliser uniquement les actions qui ont été effectivement exécutées. Nous démontrons que cette approche réduit la variance dans l'estimation du gradient de la politique par rapport aux méthodes acteur-critique traditionnelles. Nous présentons des résultats empiriques sur deux domaines de contrôle et sur six jeux Atari, où MAC se montre compétitif avec les algorithmes de recherche de politique les plus avancés.