L'apprentissage par renforcement (RL) vise à apprendre une politique de comportement optimale à partir d'expériences propres, et non pas à partir de méthodes de contrôle basées sur des règles. Toutefois, aucun algorithme de RL n’a encore été capable de traiter une tâche aussi complexe que la conduite en milieu urbain. Nous présentons une nouvelle technique, appelée affordances implicites, permettant d’exploiter efficacement le RL pour la conduite urbaine, incluant le maintien de voie, l’évitement de piétons et de véhicules, ainsi que la détection des feux de signalisation. À notre connaissance, nous sommes les premiers à présenter un agent de RL ayant réussi à maîtriser une tâche aussi complexe, en particulier en ce qui concerne la détection des feux de signalisation. En outre, nous avons démontré l'efficacité de notre méthode en remportant la catégorie « Camera Only » du défi CARLA.