الكشف والتقسيم المتزامن

نهدف إلى الكشف عن جميع حالات فئة معينة في الصورة، ولكل حالة، نقوم بتمييز البكسلات التي تنتمي إليها. نطلق على هذه المهمة الكشف والتقسيم المتزامنين (SDS). على عكس اكتشاف الصندوق الحدودي التقليدي، يتطلب SDS تقسيمًا وليس مجرد صندوق. وعلى عكس التقسيم الدلالي التقليدي، نحن بحاجة إلى حالات أفراد الأشياء. نعتمد على الأعمال الحديثة التي تستخدم الشبكات العصبية التلافيفية لتصنيف مقترحات المناطق المستقلة عن الفئات (R-CNN [16])، ونقدم هندسة معمارية جديدة مصممة خصيصًا لـ SDS. ثم نستخدم التوقعات الفوقية الخاصة بالفئة لتحسين مقترحاتنا السفلية. نظهر زيادة قدرها 7 نقاط (16% نسبةً) فوق خطوط الأساس لدينا في SDS، وزيادة قدرها 5 نقاط (10% نسبةً) فوق أفضل ما تم تحقيقه حتى الآن في التقسيم الدلالي، وأداء يتفوق على أفضل ما تم تحقيقه حتى الآن في اكتشاف الأشياء. أخيرًا، نوفر أدوات تشخيصية تفكك الأداء وتقدم اتجاهات للعمل المستقبلي.