Tiefes Lernen hat erstaunliche Fortschritte in der Genauigkeit der semantischen Segmentierung ermöglicht. Dennoch ist die Fähigkeit, Unsicherheit abzuschätzen und Versagen zu erkennen, für sicherheitskritische Anwendungen wie autonomes Fahren von entscheidender Bedeutung. Bestehende Unsicherheitsschätzungen wurden hauptsächlich an einfachen Aufgaben evaluiert, und es ist unklar, ob diese Methoden auf komplexere Szenarien übertragen werden können. Wir stellen Fishyscapes vor, den ersten öffentlichen Benchmark für die Unsicherheitsschätzung bei einer realweltlichen Aufgabe der semantischen Segmentierung im städtischen Verkehr. Er bewertet pixelweise Unsicherheitsschätzungen zur Erkennung anomaler Objekte vor dem Fahrzeug. Wir passen state-of-the-art-Methoden an aktuelle Modelle der semantischen Segmentierung an und vergleichen Ansätze basierend auf Softmax-Konfidenz, bayesianischem Lernen und Embedding-Dichte (embedding density). Unsere Ergebnisse zeigen, dass die Anomalieerkennung selbst in gewöhnlichen Situationen noch weit davon entfernt ist, gelöst zu sein, während unser Benchmark es ermöglicht, Fortschritte jenseits des aktuellen Standes der Technik zu messen.