شبكات كاملة التحويل للتمييز الدلالي

الشبكات الإدراكية هي نماذج بصرية قوية تنتج هياكل ميزات. نوضح أن الشبكات الإدراكية بمفردها، التي يتم تدريبها من البداية إلى النهاية، من بكسلات إلى بكسلات، تحسن على أفضل النتائج السابقة في التجزئة الدلالية. رؤيتنا الأساسية هي بناء شبكات "إدراكية بالكامل" (Fully Convolutional) تستقبل مدخلات ذات حجم تعسفي وتنتج مخرجات ذات الحجم المقابل مع استدلال وتعلم كفء. نحدد ونفصل فضاء الشبكات الإدراكية بالكامل، نشرح تطبيقها على مهام التنبؤ الكثيف المكاني، ونربطها بالنماذج السابقة. نحول شبكات التصنيف المعاصرة (AlexNet، شبكة VGG، و GoogLeNet) إلى شبكات إدراكية بالكامل ونقل تمثيلاتها المُتعلمة عن طريق التعديل الدقيق (Fine-Tuning) إلى مهمة التجزئة. ثم نحدد هندسة القفز التي تجمع المعلومات الدلالية من طبقة عميقة خشنة مع المعلومات البصرية من طبقة سطحية دقيقة لإنتاج تجزئات دقيقة ومفصلة. شبكتنا الإدراكية بالكامل تحقق تحسينًا في التجزئة لقواعد بيانات PASCAL VOC (تحسين بنسبة 30% ليصل إلى 67.2% معدل تقاطع الوحدة على بيانات 2012)، NYUDv2، SIFT Flow، و PASCAL-Context، بينما يستغرق الاستدلال جزءًا واحدًا من العاشر من الثانية لمAGE عادية.