التعلم العميق مكّن من تحقيق تقدم ملحوظ في دقة التجزئة الدلالية (semantic segmentation). ومع ذلك، فإن القدرة على تقدير عدم اليقين وكشف الفشل تعد حاسمة للتطبيقات الحرجة من الناحية السلامة مثل القيادة الذاتية. تم تقييم معظم تقديرات عدم اليقين الحالية على مهام بسيطة، ويبقى غير واضح ما إذا كانت هذه الأساليب قابلة للتعميم إلى سيناريوهات أكثر تعقيدًا. نقدم Fishyscapes، أول معيار عام لتقييم تقدير عدم اليقين في مهمة التجزئة الدلالية الحقيقية لقيادة المركبات الحضرية. يقيم هذا المعيار تقديرات عدم اليقين البكسلية بهدف كشف الأشياء الغريبة أمام المركبة. قدمنا تكيفًا للأساليب الرائدة وأحدث نماذج التجزئة الدلالية وقارنا بين الأساليب المستندة إلى الثقة في softmax، والتعلم البيزي (Bayesian learning)، وكثافة التضمين (embedding density). تظهر نتائجنا أن كشف الأشياء الغريبة بعيد كل البعد عن الحل حتى في الحالات العادية، بينما يسمح معيارنا بقياس التطورات التي تتجاوز أحدث التقنيات.