L'apprentissage profond a permis des progrès impressionnants en termes de précision de la segmentation sémantique. Cependant, la capacité d'estimer l'incertitude et de détecter les échecs est cruciale pour les applications critiques en matière de sécurité, comme la conduite autonome. Les estimations d'incertitude existantes ont principalement été évaluées sur des tâches simples, et il n'est pas clair si ces méthodes se généralisent à des scénarios plus complexes. Nous présentons Fishyscapes, le premier banc d'essai public pour l'estimation de l'incertitude dans une tâche réelle de segmentation sémantique pour la conduite urbaine. Il évalue les estimations d'incertitude au niveau des pixels pour la détection d'objets anormaux devant le véhicule. Nous adaptons les méthodes les plus avancées aux modèles récents de segmentation sémantique et comparons les approches basées sur la confiance softmax, l'apprentissage bayésien et la densité d'embedding. Nos résultats montrent que la détection d'anomalies est loin d'être résolue même dans des situations ordinaires, tandis que notre banc d'essai permet de mesurer les progrès au-delà de l'état de l'art.