L'apprentissage par renforcement (RL) a connu des progrès significatifs au cours des dernières années. Une des avancées les plus importantes a été l'application généralisée des réseaux de neurones. Toutefois, les architectures de ces réseaux sont généralement conçues manuellement. Dans ce travail, nous étudions les méthodes récemment proposées de recherche d'architecture de réseau de neurones (NAS) afin d'optimiser l'architecture des agents de RL. Nous menons des expériences sur la benchmark Atari et concluons que les méthodes modernes de NAS permettent de découvrir des architectures d'agents de RL qui surpassent celle sélectionnée manuellement.