التمييز الدلالي المعرفي للعناصر عبر سلسلة شبكات متعددة المهام

شهدت أبحاث التجزئة الدلالية (semantic segmentation) تقدماً سريعاً في الآونة الأخيرة، لكن العديد من الطرق الرائدة لا تتمكن من تحديد نماذج الأشياء. في هذا البحث، نقدم شبكة متعددة المهام متصاعدة (Multi-task Network Cascades) للتجزئة الدلالية الواعية بالنماذج. يتكون نموذجنا من ثلاث شبكات، تعمل كل منها على تمييز النماذج، تقدير الأقنعة (masks)، وتصنيف الأشياء على التوالي. تشكل هذه الشبكات هيكلًا متصاعدًا، وهي مصممة لمشاركة خصائصها الإدراكية (convolutional features). قمنا بتطوير خوارزمية لتدريب هذا الهيكل السببي والمتصاعد بشكل غير مباشر من البداية إلى النهاية. حلولنا هي إطار تدريبي واضح ومن خطوة واحدة ويمكن تعميمه على المراحل المتعددة في التصاعدات. نثبت دقة التجزئة الدلالية الواعية بالنماذج التي تعتبر الأفضل حتى الآن على مجموعة بيانات PASCAL VOC. وفي الوقت نفسه، يستغرق طرحنا فقط 360 مللي ثانية لاختبار صورة باستخدام VGG-16، وهو ما يسرع بأمرين من حيث السرعة مقارنة بالأنظمة السابقة لهذه المشكلة الصعبة. كمنتج ثانوي، حققت طرقنا أيضًا نتائج جاذبة في اكتشاف الأشياء والتي تتفوق على أنظمة Fast/Faster R-CNN التنافسية.الطريقة الموصوفة في هذا البحث هي أساس إرسالاتنا لمباراة تقسيم MS COCO 2015، حيث حصلنا على المركز الأول.