التمييز الشامل باستخدام شبكة التمييز الدلالي والتمييز العيني المشتركة

نقدم طريقة شبكة واحدة للتقسيم البانورامي (panoptic segmentation). تجمع هذه الطريقة التوقعات من شبكة تقسيم معنوي (semantic segmentation) وشبكة تقسيم مثلي (instance segmentation) التي تم تدريبها بشكل مشترك باستخدام قواعد تجريبية. يعتبر التدريب المشترك الخطوة الأولى نحو شبكة تقسيم بانورامي من النهاية إلى النهاية، وهو أسرع وأكثر كفاءة في استخدام الذاكرة مقارنة بتدريب وتوقع الشبكتين بشكل منفصل كما هو الحال في الأعمال السابقة. يتكون التصميم المعماري من مستخرج خصائص ResNet-50 مشترك بين فرعي التقسيم المعنوي والتقسيم المثلي. بالنسبة للتقسيم المثلي، يتم استخدام تصميم من نوع Mask R-CNN، بينما يتم تعزيز فرع التقسيم المعنوي بمودول تجميع الهرمي (Pyramid Pooling Module). تم تقديم نتائج هذه الطريقة إلى تحدي التعرف المشترك COCO وMapillary لعام 2018. حققت طريقتنا درجة PQ قدرها 17.6 على مجموعة التحقق Mapillary Vistas و27.2 على مجموعة الاختبار COCO test-dev.