الشبكات التلافيفية الكاملة للتحليل البانوبتيكي

في هذه الورقة، نقدّم إطارًا مفاهيميًا بسيطًا، قويًا وفعالًا لتقسيم البانوبتيك، يُسمّى Panoptic FCN. يهدف نهجنا إلى تمثيل وتوقع الكائنات الأمامية (things) والخلفيات (stuff) ضمن نموذج موحد مبني بالكامل على التحويلات التلافيفية (fully convolutional). وبشكل خاص، يقوم Panoptic FCN بتشفير كل كائن فردي أو فئة خلفية إلى معامل نواة محدّد باستخدام مولّد النوى المقترح، ثم يُنتج التنبؤ من خلال تطبيق التحويل التلافيفي مباشرة على الميزة عالية الدقة. وباستخدام هذا النهج، يمكن تحقيق خاصيتين متمايزتين: الوعي بالكائنات (instance-aware) والاتساق الدلالي (semantically consistent) للكائنات والخلفيات، ضمن سير عمل بسيط يعتمد على "توليد النواة ثم التقسيم". وبلا حاجة إلى صناديق مساعدة للتحديد المكاني أو الفصل بين الكائنات، يتفوّق النهج المقترح على النماذج السابقة القائمة على الصناديق (box-based) والخالية منها (box-free) من حيث الكفاءة العالية على مجموعات بيانات COCO وCityscapes وMapillary Vistas، باستخدام إدخال بقياس واحد. تم إتاحة الكود المصدر للعامة عبر الرابط التالي: https://github.com/Jia-Research-Lab/PanopticFCN.